Wie KI-Chatbots zu besseren Lern-Coaches werden

(Source: freepik / magnific.com)

(Source: freepik / magnific.com)

Noch vor fünf Jahren war es undenkbar, dass Gymnasialschülerinnen und -schüler regelmässig mit einer KI lernen. Heute ist das für viele Alltag. Laut einer repräsentativen Umfrage aus dem Jahr 2024 nutzen in der Schweiz über zwei Drittel der 12- bis 19-Jährigen regelmässig KI für die Schule. Dafür gibt es mittlerweile spezialisierte Modelle, wie LearnLM von Gemini oder "Study mode" von OpenAI. Hinzu kommt eine Reihe kleiner Anbieter, die sich auf die Entwicklung von KI-Tutoren spezialisiert haben, wie etwa Khanmigo, "Synthesis Tutor" oder "Squirrel AI". Ersetzt KI also bald die Lehrerinnen und Lehrer? 

Lernen anleiten, statt Fragen zu beantworten

Jakub Mačina erforscht, wie sich grosse Sprachmodelle (LLMs) für das Lehren und Lernen nutzen lassen. Als Postdoc bewegt er sich an der Schnittstelle von künstlicher Intelligenz und Lernwissenschaften und arbeitet dabei mit dem Informatikprofessor Mrinmaya Sachan und dem Lernwissenschaftler Manu Kapur zusammen.

Mačina will herausfinden, wie grosse Sprachmodelle zu pädagogisch wertvollen Lern-Coaches werden. "Unser Ziel ist es nicht, Lehrpersonen zu ersetzen, sondern KI in der Lehre so einzusetzen, dass jene ihre Arbeit effizienter gestalten können", sagt der Forscher. Die meisten LLMs eigneten sich nach wie vor schlecht zum Lernen. "Sie sind darauf getrimmt, Antworten und Lösungen zu generieren und nicht, die Nutzenden beim Lernprozess zu unterstützen." Das widerspricht jedoch dem Ziel, dass Schülerinnen und Schüler selbst denken und sich aktiv mit einer bestimmten Materie auseinandersetzen. Selbst wenn man in den Prompts zur Steuerung der LLMs explizit eine Lernunterstützung anstatt einer fertigen Lösung verlange, sei das Ergebnis meist unbefriedigend, so der Forscher.

Gute Lehrerinnen und Lehrer haben laut Mačina vor allem drei Fähigkeiten: "Sie haben Expertise in ihrem Fach, sie erkennen, wo Schülerinnen und Schüler anstehen und wo Lernprobleme auftreten – und sie haben die pädagogischen Fähigkeiten, um die Schülerinnen und Schüler anzuleiten, diese Probleme zu lösen." Um anhand solcher Kriterien verschiedene LLMs auf ihre Lehrtauglichkeit zu testen, hat Mačina gemeinsam mit Forschenden der TU Darmstadt einen Benchmark für den Mathematikunterricht entwickelt, den "MathTutorBench". Basierend auf Gesprächen mit Lehrerinnen und Lehrern und weiteren Daten zum Lehrprozess hat das Team für spezifische Lehrfähigkeiten ein Punktesystem entwickelt, mithilfe dessen LLMs verglichen werden können. "MathTutorBench" analysiert und vergleicht die Antworten der LLMs mit den Reaktionen von Lehrerinnen und Lehrern und bewertet diese entsprechend. Es steht allen als Open Source-Datei zum Download zur Verfügung und wird von Forschenden und Lehrentwickelnden genutzt, um die Qualität verschiedener Modelle zu vergleichen. 

Mačina hat mit "MathTutorBench" unter anderem die Lern-LLMs von Open AI und Google getestet. Dabei zeigten sich grosse Unterschiede. "Wir sehen oft, dass es zu einem Trade-off der verschiedenen Kriterien kommt: Ein Modell schneidet sehr gut ab bei der Mathematik-Expertise, nicht aber bei den pädagogischen Fähigkeiten. Bei einem anderen Modell ist es genau umgekehrt. Meist fehlt die Balance." Auffällig sei auch, dass die meisten Modelle bei mehrstufigen Antworten irgendwann den Faden verlören und abschweiften. 

"Bessere Balance zwischen Expertise und Lehrfähigkeiten als herkömmlichen LLMs"

In einem zweiten Projekt mit demselben Team hat Mačina ein eigenes LLM entwickelt, welches die Balance zwischen Pädagogik und Didaktik auf der einen und Fachexpertise auf der anderen Seite besser beherrschen soll. Trainiert hat er es, in dem er einen virtuellen Schüler mit einer virtuellen Lehrerin über mehrere Schritte interagieren lässt. Dabei verzichtet er auf teure Trainingsdaten. Das Modell lernt aus der simulierten Interaktion und mit den Rückmeldungen eines zweiten Modells. Dieses überwacht den Lehr-Lernprozess und bewertet die Reaktionen der virtuellen Lehrerin. Dadurch lernt das LLM kontinuierlich hinzu, was von den Forschenden "reinforcement learning" genannt wird.

"Der grosse Vorteil ist, dass wir dafür keine riesigen Datenmengen benötigen und mit sehr viel kleineren Sprachmodellen auskommen", erklärt Mačina. Zum Vergleich: Neuste LLMs von Open AI oder Google verfügen über mehrere hundert Milliarden bis Billionen Parameter. Etwas vereinfacht erklärt, sind Parameter ein Mass für die Denkleistung eines LLM. Mačinas Modell kommt mit lediglich sieben Milliarden Parameter aus. 

"Wir sehen, dass mit unserem Modell eine bessere Balance zwischen fachlicher Expertise und Lehrfähigkeiten entsteht als bei herkömmlichen LLMs." Zudem drifte das Modell weniger ab. Selbst bei einer Lerninteraktion mit 20 Schritten verliere sich das Modell nicht. Während des Lernprozesses kann das Modell zudem nach den Gründen für bestimmte Antworten und Entscheidungen befragt werden. "Lehrpersonen können so den Lehrprozess nachvollziehen und überwachen", sagt der Forscher. 

Bald KI-Tutor für Masterstudiernde? 

Mačinas LLM ist mittlerweile unter dem Namen "TutorRL" frei verfügbar und wurde bereits über tausend Mal heruntergeladen. "TutorRL ist bis heute eine der wenigen LLMs, die fürs Lernen optimiert und frei zugänglich sind." Er räumt jedoch ein, dass das Modell noch nicht mit Lernenden im Klassenzimmer getestet und evaluiert wurde. Dafür sucht er aktuell nach Kooperationspartnern in Schulen. Zudem funktioniere das System bisher lediglich für den Mathematikunterricht auf Stufe Gymnasium und Anfang Bachelorstudium. Mačina kann sich aber durchaus vorstellen, dass das Modell längerfristig auch in weiteren sogenannten MINT-Fächern (Mathematik, Informatik, Naturwissenschaften und Technik) eingesetzt wird, und genügend leistungsfähig wird, dass es auch im Masterstudium zum Einsatz kommt.  

Für den Forscher sind die Ergebnisse aber nicht allein für die Lehre relevant, sondern von grundsätzlichem Nutzen für die weitere Entwicklung von künstlicher Intelligenz. Die kollaborative Problemlösung, entsprechend derjenigen von "TutorRL", werde für viele zukünftige Arbeitsfelder essenziell sein, denn das menschliche Urteilsvermögen werde zentral bleiben.  "Was wir ja wirklich wollen, ist eine befriedigende Zusammenarbeit zwischen Menschen und den LLMs – und nicht, dass die Modelle uns das Denken abnehmen", so Mačina. 

Dieser Beitrag ist zuerst auf der Website von ETH News erschienen.