WeltlaboreDas vom KI-Pionier Fei-Fei Li gegründete Startup hat enthüllt sein erstes Projekt: ein KI-System, das aus einem einzigen Bild videospielähnliche 3D-Szenen generieren kann.
Viele von KI Systeme kann ein Foto in 3D-Modelle und Umgebungen umwandeln. Aber die World Labs-Szenen sind einzigartig, weil sie interaktiv – und modifizierbar – sind.
„(Unsere Technologie) ermöglicht es Ihnen, in jedes Bild einzusteigen und es in 3D zu erkunden“, World Labs er schrieb in einem Blogbeitrag. „Zusätzlich zum Eingabebild wird alles generiert.“
Die von der KI generierten Szenen, die jeder mit Tastatur und Maus in einer Demo auf der World Labs-Website erkunden kann, sehen beeindruckend aus, wenn auch ein wenig cartoonhaft. Sie werden live im Browser gerendert und verfügen über eine steuerbare Kamera mit einstellbarer simulierter Schärfentiefe (DoF). Je stärker der DoF-Effekt ist, desto unschärfer werden die Hintergrundobjekte.
Das World Labs-System ist Teil einer aufstrebenden KI-Kategorie namens „Weltmodelle.“ Viele von diese Modelle kann 3D-Spiele und -Umgebungen simulieren – jedoch mit Artefakt- und Konsistenzproblemen. Zum Beispiel das Minecraft-Simulationsweltmodell des Startups Decart, OaseEs hat eine niedrige Auflösung und „vergisst“ schnell die Anordnung der Level.
Im Gegensatz dazu stellt der Ansatz von World Labs sicher, dass Szenen nach ihrer Erstellung gleich bleiben und den Grundgesetzen der Physik gehorchen, was bedeutet, dass sie ein Gefühl von Solidität und Tiefe haben.
Das World Labs-System kann auch interaktive Effekte und Animationen auf Szenen anwenden, z. B. die Farbe von Objekten ändern und Szenen dynamisch beleuchten.
„Die meisten generativen KI-Tools erstellen 2D-Inhalte wie Bilder oder Videos“, schrieb World Labs. „Die 3D-Generierung verbessert die Kontrolle und Konsistenz. Es wird die Art und Weise verändern, wie wir Filme, Spiele, Simulatoren und andere digitale Manifestationen unserer physischen Welt erstellen.“
Nun gibt es sicherlich Raum für Verbesserungen. Die World Labs-Szenen sind nicht vollständig erkundbar – Ihre Bewegungen sind auf einen kleinen Bereich beschränkt. (Versuchen Sie, darüber hinauszugehen, und Sie werden an eine Grenze stoßen.) Und es kommt gelegentlich zu Darstellungsfehlern – zum Beispiel, wenn Objekte auf unnatürliche Weise ineinander übergehen.
Aber World Labs sagt, es sei nur eine „Vorschau“.
„Wir arbeiten hart daran, die Größe und Wiedergabetreue unserer generierten Welten zu verbessern und experimentieren mit neuen Möglichkeiten für Benutzer, mit ihnen zu interagieren“, schrieb das Startup in dem Blog.
World Labs, Anfang dieses Jahres gestartet, erstellt 230 Millionen US-Dollar Risikokapital von Investoren wie Andreessen Horowitz (a16z), Ashton Kutcher, Intel Capital, AMD Ventures und Eric Schmidt. Das Unternehmen hat einen Wert von mehr als einer Milliarde US-Dollar und geht davon aus, dass sein erstes Produkt im Jahr 2025 fertig sein wird.
Neben interaktiven Szenen plant World Labs die Entwicklung von Tools, die für Profis wie Künstler, Designer, Entwickler, Filmemacher und Ingenieure nützlich sein können. Es richtet sich an Kunden, die von Videospielentwicklern bis hin zu Filmstudios reichen.
„Wir haben bereits die Möglichkeit, virtuelle, interaktive Welten zu erschaffen, aber das kostet Hunderte Millionen Dollar und viel Entwicklungszeit“, sagte Justin Johnson, Mitbegründer von World Labs, kürzlich in einem Interview. Folge aus dem a16z-Podcast. „(Weltmodelle) ermöglichen es Ihnen, nicht nur ein Bild oder einen Clip zu erhalten, sondern eine vollständig simulierte, lebendige, interaktive 3D-Welt.“
