Zurück in die Zukunft: Wie eine Universität KI mit alten Prüfungstechniken bekämpft

Im Laufe der Jahrtausende hat sich die Auseinandersetzung mit aktuellen Themen zu einem Übergangsritual für den Abschluss einer Universität in Europa und Teilen der muslimischen Welt entwickelt.

Ein Stadtplatz in der Antike ist vielleicht nicht der naheliegendste Ort, an den man sich wenden sollte Herausforderungen mit künstlicher Intelligenz gegenüber den Universitäten. Aber die mündliche Überlieferung von Es lebe duwas aus dem Lateinischen „Mund zu Mund“ bedeutet, wird im Zeitalter der Chatbots als genauere Methode zur Wissensprüfung übernommen, schummeln Und Vermarktung.

Dr. Chris Della Vedova, außerordentlicher Professor für Biochemie und biomedizinische Wissenschaften an der University of South Australia (UniSA), bemerkte zum ersten Mal Probleme mit Aufsätzen und Multiple-Choice-Prüfungen, als dies Studenten waren online gezwungen über die Pandemie.

„Bei digitalen Prüfungen wussten wir nicht wirklich, ob jemand etwas wusste, was die Beurteilung erschwerte“, sagte er. „Es kam selten vor, dass Studenten durchfielen, es sei denn, sie haben die Prüfungen nicht bestanden.“

Also drehte sein Team um und probierte ein neues Format von 20-minütigen Vorträgen aus, bei denen die Bewerter aus einem zufälligen Pool von Fragen auf der Grundlage des in den Vorlesungen behandelten Materials schöpften.

Die Studierenden antworteten und der Prüfer stellte dann eine Reihe von Folgefragen, in denen er sie aufforderte, ihre Antworten näher zu erläutern oder ihre Ideen in den Kontext des Kurses als Ganzes zu stellen.

UniSA begann mit der Verwendung Es lebe du System im Jahr 2022 und ersetzt die schriftliche Abschlussprüfung für eine Reihe seiner naturwissenschaftlichen Abschlüsse durch mündliche Prüfungen. In einer Zeit, in der Generative KI kann in Sekundenschnelle komplexe Antworten generierenSeit Einführung des Formats gab es keinerlei Verstöße gegen die akademische Integrität.

Laut Vedova helfen gesprächsbasierte Beurteilungen Pädagogen, das Verständnis ihrer Schüler für Fachinhalte aufgrund der „flüssigen, persönlichen Natur eines Gesprächs“ besser zu ermitteln.

„Oft stellt man die erste Frage und erhält eine einprägsame Antwort, aber wir möchten sicherstellen, dass sie verstehen, was sie sagen. Daher bieten Folgeuntersuchungen die Möglichkeit zu beurteilen, wie solide ihr Verständnis ist“, sagte er.

„Wenn Schüler nervös oder unklar sind, können wir ihnen Aufforderungen geben – sie dazu bringen, einen Schritt zurückzutreten, während sie sich in einer Prüfung eine Frage ansehen und diese leer lassen.“

Es ist nicht ohne Herausforderungen.

Der Scientia-Professor für Künstliche Intelligenz an der UNSW, Toby Walsh, sagte, das Format könne Studenten, die Englisch als Zweitsprache verwenden, oder Introvertierte, die nicht gerne öffentlich sprechen, zu Unrecht benachteiligen.

Vedova gab zu, dass internationale Studierende – die zwischen 15 und 30 % der naturwissenschaftlichen Kurse ausmachten – Bedenken hinsichtlich des mündlichen Formats hatten. Er sagte jedoch, dass Übungsaktivitäten das Selbstvertrauen stärkten und die mündlichen Kommunikationsfähigkeiten nicht bewertet würden.

„Die meisten dieser Studenten gehen in Gesundheitsberufe, in denen die Interaktion verbal erfolgt“, sagte er.

Vedova sagte, er sei „zuversichtlicher“, dass er herausfinden könne, was sie verstanden hätten, wenn er sich hinsetze und mit ihnen rede.

„Es gibt keinen Grund, warum es im Zeitalter der generativen KI, wo es vieles gibt, dem wir nicht mehr wirklich vertrauen können, an keiner Universität funktionieren kann.

„Mit einem 10-seitigen Aufsatz haben Sie das geschafft keine Ahnung, woher es kommt.“

Aber es gibt praktische Hindernisse.

„Es lebe du ist das, was wir für die höchsten Prüfungen, die wir machen – Doktoranden – reservieren, um zu sehen, was sie gemacht haben, und ich unterstütze das sehr, es ist großartig“, sagte Walsh.

„Aber es lässt sich nicht sehr gut skalieren. Bei einer Sitzprüfung müssen Hunderte von Studenten gleichzeitig daran teilnehmen. Bei einer mündlichen Prüfung kann nur einer geprüft werden.“

„Meine Kollegen, die mehrere mündliche Prüfungen absolvieren, haben immer das Problem, dass in einem Bachelor-Studiengang im ersten Jahr Tausende von Studenten studieren und ihnen das Personal fehlt.

„Es ist schwierig, Studierende zu vergleichen. Bei einer Prüfung gibt es einen Vergleich, aber mündliche Prüfungen können in eine andere Richtung gehen.“

Der Experte für künstliche Intelligenz Dr. Stefan Popenici sagt, dass in kleineren Kohorten mündliche Prüfungen die „perfekte Form der Beurteilung“ seien. Er sagt jedoch, dass die Methode in direktem Widerspruch zum aktuellen Modell stand „kommerzialisierte Hochschulbildung“.

„Wenn wir wollen, dass Absolventen lesen und schreiben können, ist es wichtig, alternative Formen der Bewertung in Betracht zu ziehen“, sagte er.

„Man kann vor einem Gremium nicht schummeln – man muss sagen, was man weiß.“ Klicken Schüler auf eine Schaltfläche? Es ist erschreckend.

Gibt es einen dritten Weg?

Für Walsh ist es eine Open-Book-Prüfung.

„Warum bringen wir Menschen dazu, sich an Dinge zu erinnern, wenn sie diese in der realen Welt nachschlagen können?“ sagte er.

„Wir sollten herausfordernde Dinge festlegen und die Tatsache akzeptieren, dass jeder Zugang zu Wissen hat. Sorgen Sie dafür, dass neben Werkzeugen auch Fachwissen erforderlich ist.“