Was haben KI-Sprachagenten und selbstfahrende Autos gemeinsam? Seine Leistung könne auf die gleiche Weise bewertet werden, argumentiert Brooke Hopkins, ehemalige Technologieleiterin bei Waymo. Coval, das neue Startup von Hopkins, hat genau das zum Ziel.
„Als ich Waymo verließ, wurde mir klar, dass viele dieser Probleme, die wir bei Waymo hatten, genau das waren, mit dem der Rest der KI-Branche konfrontiert war“, sagte Hopkins (Bild oben in der Mitte) gegenüber TechCrunch. „Aber alle sagten, dies sei ein neues Paradigma, dass wir Testpraktiken auf der Grundlage erster Prinzipien entwickeln müssten und dass wir im Grunde alle alles neu erschaffen müssten. Und ich habe mir das angeschaut und gesagt: „Moment, wir haben die letzten zehn Jahre damit verbracht, uns selbst zu fahren und herauszufinden, wie wir das machen können.“
Im Jahr 2024 entschied sie sich für den Start Covaleine Plattform, die Simulationen für KI-Sprach- und Chat-Agenten erstellt, die testen und bewerten, wie sie Aufgaben ausführen, auf die gleiche Weise, wie Hopkins selbstfahrende Autos bei Waymo getestet hat. Coval kann Tausende von Simulationen gleichzeitig ausführen, z. B. den Agenten eine Reservierung in einem Restaurant vornehmen lassen oder den Agenten eine indirekt gestellte Kundendienstfrage beantworten lassen.
Die Technologie von Coval bewertet Agenten auf der Grundlage eines allgemeinen Satzes von Metriken. Unternehmen können jedoch auch anpassen, wonach sie suchen, und Coval verwenden, um die Bewertung von Regressionen fortzusetzen. Benutzer können diese Daten und die daraus gewonnenen Erkenntnisse auch nutzen und sie Endkunden zur Verfügung stellen, sei es für eine Demo oder als Überwachungstool, um Kunden zu zeigen, dass der Agent wie geplant arbeitet.
„Eines der größten Hindernisse für die Einführung von Agenten in Unternehmen ist das Gefühl der Gewissheit, dass dies nicht nur eine Demonstration von Rauch und Spiegeln ist“, sagte Hopkins. „Die Wahl zwischen Anbietern ist für diese Führungskräfte eine wirklich komplizierte Aufgabe, da es sehr schwierig ist zu wissen, was Sie verlangen oder wie man beweisen kann, dass diese Agenten das tun, was Sie erwarten. Und das gibt unseren Unternehmen die Möglichkeit, dies wirklich zu zeigen und zu demonstrieren.“
Hopkins formulierte die Idee hinter Coval tatsächlich während der Y Combinator Summer 2024-Charge, bevor sie das Produkt im Oktober 2024 öffentlich auf den Markt brachte. Sie sagte, die Nachfrage sei stark gewesen und in den letzten zwei Monaten explosionsartig angestiegen, wobei Kunden gefragt hätten, wie schnell sie ihre Agenten bekommen könnten ausgewertet.
Das in San Francisco ansässige Startup kündigt nun eine 3,3-Millionen-Dollar-Seed-Runde unter der Leitung von MaC Venture Capital unter Beteiligung von Y Combinator und General Catalyst an. Das Startup wird das Kapital nutzen, um sein Engineering-Team aufzubauen und daran zu arbeiten, das Produkt an den Markt anzupassen. Hopkins fügte hinzu, dass das Unternehmen künftig auch daran arbeiten werde, seinen Nutzern die Evaluierung anderer Arten von KI-Agenten, beispielsweise webbasierter Agenten, zu ermöglichen.
Coval betritt die Szene, als die Dynamik – und die Aufregung – rund um KI-Agenten auf einem Allzeithoch zu sein scheint. Technologieführer in Unternehmen mögen Marc Benioff haben die Technologie angepriesen (und vermarktet) und erklärt, dass Salesforce bis zum nächsten Jahr mehr als eine Milliarde seiner KI-Agenten einsetzen wird. OpenAI Gerüchten zufolge wird es sehr bald einen KI-Agenten auf den Markt bringen.
Es gibt auch unzählige Startups, die in diesem Bereich gegründet werden. Allein in den drei Kohorten von Y Combinator im Jahr 2024 gab es mehr als 100 Startups, die KI-Agenten entwickelten. Einige KI-Agent-Startups haben auch umfangreiche Risikofinanzierungsrunden eingeworben. Eins, /dev/agentshat im November 2024, weniger als ein Jahr nach seiner Gründung, eine Seed-Runde in Höhe von 55 Millionen US-Dollar mit einer Bewertung von 500 Millionen US-Dollar aufgenommen.
Diese Dynamik bedeutet, dass wahrscheinlich auch mehr Unternehmen Hilfe bei der Überprüfung ihrer Agenten suchen. Hopkins sagte, Coval habe gute Chancen, als Sieger hervorzugehen, da Coval im Gegensatz zu den unvermeidlichen Neuzugängen einen Vorsprung habe.
„Ich denke, was uns wirklich auszeichnet, ist, dass ich seit einem halben Jahrzehnt in diesem Bereich arbeite und diese Systeme immer wieder aufbaue“, sagte sie. „Wir haben mehrere Iterationen erstellt und gesehen, wie sie scheitern und wie sie sich skalieren lassen. Wir bauen die gleichen Konzepte in Coval und all diese Erkenntnisse ein.“
