Forschende entschlüsseln interne Reasoning-Daten von KI-Modellen

(Source: Mmh30 / pixabay.com)

(Source: Mmh30 / pixabay.com)

Wenn man einem KI-Modell eine Frage stellt, verarbeitet es die Eingabe zunächst intern, bevor es eine Antwort ausgibt. Der Client erhält die dabei anfallenden Reasoning-Daten verschlüsselt zusammen mit der Antwort, sodass bei Folgefragen der gesamte Kontext vorhanden ist. Nun haben Forschende eine Architekturschwachstelle gefunden, die es ihnen ermöglichte, diese Daten zu entschlüsseln, wie "Heise" unter Berufung auf die Publikation des Forschungsteams berichtet.

Während starke Modelle wie Claude Opus oder GPT-5 ihre Chain of Thought laut Bericht nicht offenlegen sollen, besässen schwächere Modelle wie Claude Haiku keine solchen Sicherheitsmassnahmen. Die Verschlüsselung der Reasoning-Daten ermögliche jedoch jedem Modell desselben Anbieters, diese zu entschlüsseln. Dies nutzten die Forschenden laut Bericht aus und liessen schwache Modelle die Reasoning-Daten der stärkeren Modelle auslesen und als Klartext ausgeben.

Schwachstelle birgt viele Gefahren

Die Auswertung von über 300'000 solcher Reasoning-Daten aus öffentlichen Quelltext-Repositories und Logdateien habe zahlreiche sensible Informationen zutage gefördert: Dazu gehörten etwa personenbezogene Identifikatoren, Zugangsdaten und Klartext-Passwörter.

Zudem warnen die Forschenden davor, dass man über die Reasoning-Daten an Informationen gelangen könne, die die KI-Modelle nicht herausgeben dürften, weil sie gefährlich sind oder es sich um geistiges Eigentum handelt. Und eine weitere Gefahr besteht gemäss "Heise" darin, dass Cyberkriminelle KI-Modellen präparierte Reasoning-Daten mit versteckten Prompt-Injections einschleusen, wodurch diese bösartige Anweisungen ausführen könnten.

KI-Sicherheit beschäftigt derzeit viele. Deepmind-Gründer Demis Hassabis schlug kürzlich etwa Regulierungen für starke KI-Modelle vor, die Sicherheitsrisiken minimieren sollen. Lesen Sie hier mehr dazu.

Wenn Sie mehr zu Cybercrime und Cybersecurity lesen möchten, melden Sie sich hier für den Newsletter von Swisscybersecurity.net an. Auf dem Portal lesen Sie täglich News über aktuelle Bedrohungen und neue Abwehrstrategien.