ChatGPT scheitert an bayerischem Abitur

Mancher Student mag bereits gehofft haben, dass ihm in Zukunft ein Programm lästige Prüfungen abnimmt. Doch ein Experiment könnte ernüchternd wirken.

Der Chatbot ChatGPT ist seit Wochen das Gesprächsthema unter Informatikern, Investoren, Journalisten, Professoren, Lehrern und Politikern. Die Liste ist lang, denn der Künstlichen Intelligenz hinter dem Programm wird bereits zugetraut, Lern- und Arbeitswelten revolutionieren zu können. Doch allwissend scheint das Programm nicht zu sein: Der Bayerische Rundfunk (BR) hat ChatGPT in vier Fächern des bayerischen Abiturs antreten lassen – mit überraschenden Ergebnissen.

In Kooperation mit Lehrkräften bayerischer Gymnasien ließ der Rundfunksender die Software mehrere Abiturprüfungen aus dem Jahr 2022 absolvieren. Das Fach Geschichte bestand das Programm einigermaßen souverän mit neun Punkten – einer 3 plus in Schulnoten. Es ging um die Bevölkerungsentwicklung im Heiligen Römischen Reich Deutscher Nation vom 15. bis zum 18. Jahrhundert. Im Gespräch mit dem BR urteilte Geschichtslehrer Benjamin Pengler: "Sehr vage, vereinfachend und pauschal formuliert."

Das war aber auch schon der einzige Lichtblick für das Programm. Besonders blamabel (wenn sich eine KI blamieren könnte) wurde es dann im Fach Informatik. Was für das vielleicht fortschrittlichste Chatprogramm der Welt ein Heimspiel sein sollte, wurde zum Debakel. Der BR stellte in Kooperation mit den Lehrkräften folgende Aufgabe: "Für einen Radiosender soll eine Software entwickelt werden, die Informationen zu den Sendungen mithilfe einer Klasse SENDUNG verwaltet".

Das bayerische Abitur wird für ChatGPT zur Herausforderung

Die Abituraufgabe war aber wohl zu schwer. ChatGPT holte in diesem Fach die niedrigste Punktzahl im Experiment. Ganze zwei Punkte, eine 5 in Schulnoten, gab ihr der Informatiklehrer Hermann Knees. "Ich hatte erwartet, dass die ChatGPT bei den Modellierungs- und Programmieraufgaben Schwierigkeiten haben würde, und so kam es auch", lautete sein Fazit im BR. Die KI sei noch ein gutes Stück davon entfernt, fehlerfreie Programme basierend auf Beschreibungen zu erstellen.

Und auch für alle Schüler, die bereits hofften, lästige ellenlange Deutsch-Aufsätze an die KI "outsourcen" zu können, gibt es schlechte Nachrichten. Das Deutsch-Abitur bestand ChatGPT nicht, mit drei Punkten gab es eine 5+. Das Programm sollte den Text von Miriam Meckel mit dem Titel "Wenn ein Algorithmus die ganze Literaturgeschichte revolutioniert: Im Maschinozän schreiben Maschinen bessere Texte als Menschen" analysieren. Deutschlehrer Patrick Dorn urteilte schlicht, das sei "viel Gelaber".

Selbst in Mathematik konnte die KI, deren "Sprache" auf Ziffern beruht, nicht überzeugen: Mit 5 Punkten, also einer 4, segelte ChatGPT gerade so am Durchfallen vorbei. Laut Lehrer Thomas Spindler hat die KI vor allem Probleme mit umständlichen Rechenwegen und dem Verständnis von Aufgabenstellungen.

ChatGPT konnte in den USA bereits einige Prüfungen bestehen

Ist das bayerische Abitur also doch so anspruchsvoll und einzigartig in der Welt, wie mancher Politiker nicht müde wird zu betonen? Schließlich konnte ChatGPT in den USA bereits eine ganze Reihe an Prüfungen absolvieren und schreckte damit Professoren und Experten auf. Das Programm hat nach Auskunft der Wharton School of Business der Universität von Pennsylvania in einem Kurs die Jura-Prüfungen bestanden.

Sogar in Prüfungen für angehende Mediziner konnte ChatGPT, unter bestimmten Bedingungen, überzeugen: Bei den drei theoretischen Teilen des United States Medical Licensing Exam (USMLE) erreichte die KI mehrfach die vorgeschriebene Mindestpunktzahl von rund 60 Prozent der Maximalpunkte. So schrieben Experten im Fachjournal "PLOS Digital Health". Allerdings nahmen die Prüfer Rücksicht auf bestimmte Eigenheiten des Programms, andernfalls hätte es wohl in den meisten Fällen nicht bestanden.

Die weniger entgegenkommenden Prüfer im Experiment des BR zeigen: eine eierlegende Wollmilchsau ist ChatGPT nicht. Es bleibt ein nützliches Werkzeug für alle, die damit umzugehen lernen. Doch vorher heißt es wohl: Schulbank drücken.