Sprachmodelle klingen schlüssig - ziehen aber andere Schlüsse als Menschen

(Source: pch.vector)

(Source: pch.vector)

In der Politik und Verwaltung fassen Sprachmodelle zunehmend Informationen zusammen, ordnen Argumente und bereiten Entscheidungen vor. Ob sie dabei ähnliche Begründungen wie Menschen finden, ist die Frage einer neuen Studie von Forschenden der Universität Zürich. Im Fokus stehen politische Fragen ohne eindeutig richtige Antwort, beispielsweise zu Klimaanpassung, Stadtplanung, Migration oder Biobanking.

Die Forschenden prüften laut Studie nicht, ob die KI-Modelle richtige Antworten liefern, sondern inwiefern sie ihre bevorzugten Massnahmen nachvollziehbar mit Argumenten verknüpfen. Sie verglichen die Antworten der Modelle mit jenen von 190 Personen, die dieselben Fragen nach einer gemeinsamen Diskussion beantwortet hatten. 

Die Personen stammen aus neun sogenannten Mini-Publics. Das sind kleine, zufällig ausgewählte Gruppen von Bürgerinnen und Bürgern, die unter Moderation über ein politisches Thema diskutieren. Eines dieser Panels befasste sich beispielsweise in Winterthur mit Klimamassnahmen. 

Vier Modelle über der Schwelle

Die Forschenden testeten insgesamt 60 Modelle von elf Anbietern, darunter Anthropic, Google, Meta, Mistral, OpenAI und xAI. Nur vier davon liegen gemäss Studie in mehr als 60 Prozent der Tests über dem Zufallswert. Am besten schneidet Claude 3.7 Sonnet mit 73 Prozent ab. Ebenfalls über der Schwelle liegen Claude 3.5 Sonnet, Grok 3 und Gemini 2.5 Pro.

Über alle Modelle liegt der Median bei 40 Prozent. Bei 43 Modellen stellen die Forschenden keinen Unterschied zum Zufall fest. Zwölf Modelle schneiden gemäss der Analyse sogar schlechter ab als das Referenzmodell.

Der Studie zufolge nennen viele Modelle ähnliche Argumente wie die Menschen, ziehen daraus aber andere Schlüsse. Als Beispiel nennt die Studie ein Modell, das der Aussage stark zustimmt, dass der Klimawandel ein ernstes Problem ist, gleichzeitig aber mildere Massnahmen bevorzugt als Personen mit derselben Einschätzung.

Überzeugend ist nicht gleich begründet

Gängige Benchmarks testen Modelle laut den Forschenden vor allem mit Wissensfragen oder Rechenaufgaben. Wie nachvollziehbar die Modelle ihre Positionen begründen, erfassen sie hingegen kaum. Gerade das sei in einer Demokratie aber zentral. Politische Entscheide gelten als legitim, wenn die Betroffenen die Gründe dafür nachvollziehen und anfechten können, wie die Forschenden anmerken.

Die Forschenden sehen deshalb ein Risiko, wenn Sprachmodelle in Schulen, Räten oder politischen Gremien zum Einsatz kommen. Die Antworten der Modelle können ausgewogen klingen, ohne die Verbindung zwischen Gründen und Positionen offenzulegen. Plausibilität ersetze hier die Überprüfung. Verstärkt werde dies zudem durch die Tendenz vieler Modelle, sich den Ansichten der Nutzenden anzupassen.

Als Beispiel nennt die Studie Anwältinnen und Anwälte, die mit Sprachmodellen Fallstrategien entwickeln. Die Modelle bestätigen laut den Forschenden deren Überlegungen, statt sie kritisch zu prüfen. So entstehe eine in sich stimmige Argumentation, die niemand auf die Probe stelle.

Die Forschenden empfehlen, die Begründungsfähigkeit eines Modells vor dem Einsatz in solchen Kontexten zu prüfen. Statt fertige Urteile zu liefern, sollen Sprachmodelle laut der Studie eher relevante Argumente auflisten und alternative Schlussfolgerungen sichtbar machen. 

Einschränkungen

Die Studie zeigt, wo die Modelle von menschlichen Mustern abweichen, aber nicht, warum, wie die Forschenden anmerken. Ein tiefer Wert bedeute nicht, dass ein Modell nicht argumentieren könne, sondern lediglich, dass es anders argumentiere als die Studienteilnehmenden.

Hinzu kommt, dass die Menschen den Fragebogen erst nach einer gemeinsamen Diskussion ausfüllten, die Modelle hingegen ohne vorherigen Austausch. Die Forschenden nennen dies selbst als mögliche Erklärung für die Abweichungen. 

Zu beachten ist zudem, dass die geprüften Modellversionen aus den Jahren 2024 und 2025 stammen, während die Studie im September 2026 erschien.

Methode und Daten

Grundlage der Studie ist der Deliberative Reason Index (DRI). Dafür bewerten die Teilnehmenden zuerst eine Reihe von Argumenten auf einer Skala. Diese stammen laut den Forschenden aus systematischen Analysen der öffentlichen Debatte zum jeweiligen Thema. Danach bringen die Teilnehmenden verschiedene politische Optionen in eine Rangfolge. Für beide Teile berechnet der Index paarweise Korrelationen. Je stärker die Struktur der Argumente jener der Präferenzen entspricht, desto kohärenter ist die Begründung.

Die menschlichen Daten stammen aus neun Fällen, welche die Forschenden aus 24 publizierten Mini-Publics ausgewählt haben. Jedes Modell erhielt fünfmal pro Fall denselben Fragebogen, den die Menschen nach der Beratung ausgefüllt hatten. Der Prompt war jeweils identisch und enthielt keine Rollenvorgaben. Bei 60 Modellen und neun Fällen ergaben sich so insgesamt 2700 Antworten.

Das könnte Sie auch interessieren: Harvard-Studie stellt Produktivitätsversprechen von KI infrage. KI-Agenten liefern mehr Code - aber nicht automatisch mehr fertige Software. Mehr zur Studie lesen Sie hier.