Wie gut lösen Chatbots zentrale Abschlussprüfungen?

Eifert, Maurice; Krüll, Carolin

Abstract

Durch die kostenlose Bereitstellung des KI-Systems Chat GPT 3.5, mussten sich Schulen sehr schnell Gedanken zum Umgang mit Chatbots machen. Chatbots sind intelligent arbeitende Systeme, die Texte generieren. Damit können Chatbots gewinnbringend für die Gestaltung von Lehr-Lern-Prozessen genutzt werden. Allerdings können sie auch von Schüler*innen missbräuchlich verwendet werden: Beispielsweise zum Vorgeben von Lösungen in Prüfungen. Die Fragestellung dieser Arbeit ist daher folgende: Wie gut können Chat-Bots  Klausuren lösen? Dafür wurden in einem explorativen Design den Chatbots Chat GPT 3.5, Chat GPT 4.0, Google Bard und Hugging Chat die Aufgabe gestellt zentrale Abschlussprüfungen (ZAP) von NRW der zehnten Klasse im Fach Mathematik zu lösen. Dafür wurden die Chatbots je mit einem ausführlichen und einem rudimentären Prompt bespeist. Die Antworten der Chatbots wurden mit Hilfe eines Bewertungsrasters von zwei Codierern ausgewertet. Die Ergebnisse zeigen, dass drei der vier Chatbots (außer ChatGPT 4.0) kaum in der Lage sind, Mathematikaufgaben zuverlässig zu lösen. Selbst auf dem niedrigsten Anforderungsniveau wurden z.T. Fehler wie Rechenfehler und Rundungsfehler gemacht. Unterschiede in der Qualität zeigen sich überdies zwischen den vier Chatbots sowie bezüglich der verwendeten Prompts (siehe Poster). Bibliografie Bächle, T. (2016). Digitales Wissen, Daten und Überwachung. Hamburg: Junius. Florio-Hansen, I. (2020). Digitalisierung, Künstliche Intelligenz und Robotik. Eine Einführung für Schule und Unterricht. Stuttgart: Waxmann. Jacobsen, L. & Weber, K. (2023). The Promises and Pitfalls of ChatGPT as a Feedback Provider in Higher Education: An Exploratory Study of Prompt Engineering and the Quality of AI-Driven Feedback.https://www.researchgate.net/publication/374265685 (Letzter Zugriff: 23.04.2024). Morrison, R. (2022). Large language models and text generators: an overview for educators. (https://eric.ed.gov/?id=ED622163 (Letzter Zugriff: 23.04.2024). Poole, D. & Mackworth, A. (2010). Artificial Intelligence. Foundations of Computational Agents.Cambridge: Cambridge University Press. Rosengrün, S. (2021). Künstliche Intelligenz zur Einführung. Hamburg: Junius.