Künstliche Intelligenz (KI), insbesondere große Sprachmodelle wie GPT-4, haben eine beeindruckende Leistung bei den Argumentationsaufgaben gezeigt. Aber versteht AI abstrakte Konzepte wirklich oder ahmt sie nur Muster nach? Eine neue Studie der University of Amsterdam und des Santa Fe -Instituts zeigt, dass GPT -Modelle zwar bei einigen Analogieaufgaben gut abschneiden, sie jedoch zu kurz kommen, wenn die Probleme verändert werden, was wichtige Schwächen in den Argumentationsfähigkeiten der KI hervorhebt.
Analoges Denken ist die Fähigkeit, einen Vergleich zwischen zwei verschiedenen Dingen auf der Grundlage ihrer Ähnlichkeiten in bestimmten Aspekten zu zeichnen. Es ist eine der häufigsten Methoden, mit denen Menschen versuchen, die Welt zu verstehen und Entscheidungen zu treffen. Ein Beispiel für analoges Denken: Tasse ist Kaffee als Suppe ist (die Antwort lautet: Schüssel)
Großsprachenmodelle wie GPT-4 können bei verschiedenen Tests gut abschneiden, einschließlich solcher, die analoges Denken erfordern. Aber können AI-Modelle sich wirklich im Allgemeinen, robuste Argumentation einsetzen, oder haben sie überaus Muster aus ihren Trainingsdaten? Diese Studie von Sprach- und KI -Experten Martha Lewis (Institut für Logik, Sprache und Berechnung an der Universität von Amsterdam) und Melanie Mitchell (Santa Fe Institute) untersuchte, ob GPT -Modelle bei der Herstellung von Analogien genauso flexibel und robust sind wie Menschen. „Dies ist entscheidend, da KI zunehmend für die Entscheidungsfindung und die Problemlösung in der realen Welt verwendet wird“, erklärt Lewis.
Vergleich von KI -Modellen mit menschlicher Leistung
Lewis und Mitchell verglich die Leistung von Menschen und GPT -Modellen mit drei verschiedenen Arten von Analogieproblemen:
- Briefsequenzen – Identifizieren von Mustern in Buchstabensequenzen und korrektes Fertigstellen.
- Ziffernmatrizen – Analyse der Zahlenmuster und Ermittlung der fehlenden Zahlen.
- Geschichtenanalogien – Verstehen, welche von zwei Geschichten am besten einer bestimmten Beispielgeschichte entspricht.
Ein System, das Analogien wirklich versteht, sollte auch bei Variationen eine hohe Leistung aufrechterhalten
Zusätzlich zum Testen, ob GPT -Modelle die ursprünglichen Probleme lösen konnten, untersuchte die Studie, wie gut sie durchgeführt wurden, wenn die Probleme subtil geändert wurden. „Ein System, das Analogien wirklich versteht, sollte auch bei diesen Variationen eine hohe Leistung aufrechterhalten“, geben die Autoren in ihrem Artikel an.
GPT -Modelle kämpfen mit Robustheit
Die Menschen haben bei den meisten modifizierten Versionen der Probleme eine hohe Leistung beibehalten, aber GPT -Modelle, während sie bei Standardanalogieproblemen eine gute Leistung erzielten, hatten mit Variationen zu kämpfen. „Dies deutet darauf hin, dass KI -Modelle oft weniger flexibel sind als Menschen und bei seiner Argumentation weniger in Bezug auf das wahre abstrakte Verständnis als auch um das Musteranpassung“, erklärt Lewis.
In Ziffernmatrizen zeigten GPT -Modelle einen signifikanten Leistungsabfall, wenn sich die Position der fehlenden Zahl änderte. Menschen hatten keine Schwierigkeiten damit. In Story-Analogien tendierte GPT-4 dazu, die erste gegebene Antwort öfter als korrekt auszuwählen, während Menschen nicht von der Antwortreihenfolge beeinflusst wurden. Darüber hinaus kämpfte GPT-4 mehr als den Menschen, wenn Schlüsselelemente einer Geschichte umformuliert wurden, was auf eine Abhängigkeit von Ähnlichkeiten auf Oberflächenebene und nicht auf tiefere kausale Argumentation hinweist.
Bei einfacheren Analogieaufgaben zeigten GPT -Modelle einen Rückgang des Leistungsrückgangs bei modifizierten Versionen, während die Menschen konsequent blieben. Bei komplexeren analogen Argumentationsaufgaben kämpften jedoch sowohl Menschen als auch KI.
Schwächer als menschliche Erkenntnis
Diese Forschung stellt die weit verbreitete Annahme in Frage, dass KI-Modelle wie GPT-4 genauso argumentieren können wie Menschen. „Während KI -Modelle beeindruckende Fähigkeiten zeigen, bedeutet dies nicht, dass sie wirklich verstehen, was sie tun“, schließen Sie Lewis und Mitchell ab. ‚Ihre Fähigkeit, über Variationen hinweg zu verallgemeinern, ist immer noch signifikant schwächer als die menschliche Wahrnehmung. GPT -Modelle verlassen sich oft eher auf oberflächliche Muster als auf ein tiefes Verständnis. ‚
Dies ist eine kritische Warnung für die Verwendung von KI in wichtigen Entscheidungsbereichen wie Bildung, Recht und Gesundheitswesen. KI kann ein mächtiges Werkzeug sein, aber es ist noch kein Ersatz für menschliches Denken und Denken.
