Sakana AI, gegründet von Transformer-Co-Autor, stellt evolutionären Ansatz zum Erstellen von KI-Modellen vor

Das in Tokio ansässige KI-Startup Sakana AI, Mitbegründer eines Hauptautors des bahnbrechenden Papiers „Attention Is All You Need“, in dem die Transformer-Architektur vorgestellt wurde, hat seine ersten Open-Source-Modelle offiziell vorgestellt. Das Unternehmen ist Vorreiter einer neuartigen Methode namens „Evolutionary Model Merging“, die den branchenüblichen Ansatz, KI durch das Training riesiger Modelle von Grund auf neu zu entwickeln, in Frage stellt.

Sakana AI, gegründet von den ehemaligen Google-Forschern David Ha und Llion Jones, orientiert sich an der Natur. Statt auf brachiale Berechnungen und riesige Datensätze zurückzugreifen, kombiniert und adaptiert die Technologie bestehende Open-Source-Modelle und behandelt sie wie Organismen in einem Ökosystem. Durch einen von der natürlichen Selektion inspirierten Prozess kombiniert das Unternehmen verschiedene Modelle, sodass deren Stärken kombiniert werden und neue, spezialisiertere und leistungsfähigere Versionen entstehen, ohne dass aufwändiges Umlernen erforderlich ist. Dieser evolutionäre Ansatz ist deutlich rechnerisch effizienter und kostengünstiger.

Die ersten veröffentlichten Modelle demonstrieren die Leistungsfähigkeit dieser Technik. Eines davon ist ein hochkompetentes Modell in japanischer Sprache, das durch die Zusammenführung mehrerer englischsprachiger Modelle entstanden ist. Ein weiteres ist ein Vision-Language-Modell, das Bildunterschriften generiert. Am beeindruckendsten ist vielleicht, dass Sakana AI durch die Weiterentwicklung bestehender Open-Source-Modelle auch ein führendes mathematisches Denkmodell entwickelt hat. Das Ergebnis ist eine neue KI, die ihre Vorgänger in wichtigen Benchmarks übertrifft.

Diese Methodik stellt einen grundlegenden Wandel in der KI-Entwicklung dar. Aufbauend auf dem kollektiven Fortschritt der Open-Source-Community schafft Sakana AI einen nachhaltigeren und zugänglicheren Weg zur Innovation. Ihre Arbeit legt nahe, dass die Zukunft der KI nicht allein in der Schaffung immer größerer Modelle liegen könnte, sondern in der intelligenten und kreativen Kombination des Vorhandenen. Das in Tokio ansässige Labor, das mit 1430 Millionen TP1T an Startkapital von Investoren wie Lux Capital und Andreessen Horowitz unterstützt wird, positioniert sich als wichtiger neuer Akteur in der globalen KI-Landschaft und vertritt ein kollaborativeres und effizienteres Paradigma.