Anthropic-KI versucht, Menschen per Phishing zu manipulieren

(Source: Jackie Niam / AdobeStock.com)

(Source: Jackie Niam / AdobeStock.com)

Ein KI-Modell von Anthropic hat in einem Sicherheitstest offenbar versucht, Menschen zu manipulieren und eine Schwachstelle in öffentlich zugängliche Software einzuschleusen. Wie der "Tages-Anzeiger" unter Berufung auf eine Meldung der Deutschen Presse-Agentur berichtet, führte das britische AI Security Institute (AISI) den Test durch.

Das Institut, das zum britischen Ministerium für Wissenschaft, Innovation und Technologie gehört, prüfte die Cyberangriffsfähigkeiten von Modellen von Anthropic und OpenAI. Dafür gewährten die Forschenden den Systemen absichtlich Zugang zum Internet. Sie seien davon ausgegangen, dass die Modelle darüber lediglich Softwarewerkzeuge beschaffen würden, um die gestellte Aufgabe zu lösen.

Versuchte Manipulation von Menschen

Das Anthropic-Modell Mythos 5 habe den Internetzugang jedoch auch für Aktivitäten genutzt, die sich gegen Menschen richteten. Ein solches Verhalten habe das Institut nicht vorhergesehen. Die Forschenden hätten die Vorgänge zudem erst nachträglich bei der Auswertung des Datenverkehrs entdeckt. Bei künftigen Tests wolle das AISI die Datenströme deshalb in Echtzeit genauer überwachen.

Nach Angaben des Instituts legte Mythos 5 selbstständig einen Account auf der Softwareplattform Github an. Anschliessend habe das Modell versucht, Programmcode mit einer absichtlich eingebauten Schwachstelle in einem öffentlich zugänglichen Projekt unterzubringen. Um die Verantwortlichen des Projekts zu überzeugen, habe die KI Fake-Identitäten erstellt und über diese mit ihnen kommuniziert. Dabei seien auch Phishing-Mails zum Einsatz gekommen.

KI täuscht Korrektur vor

Nachdem Projektverantwortliche den manipulierten Code entdeckt hätten, habe Mythos 5 die Schwachstelle als unbeabsichtigten Fehler dargestellt. In vermeintlichen Korrekturen habe das Modell anschliessend erneut versucht, die Sicherheitslücke einzubauen. Zudem soll die KI daran gearbeitet haben, andere KI-Agenten zu infizieren. Der dafür bestimmte Code sei auf der Website nicht sichtbar gewesen, sondern hätte nur von KI-Software über eine Schnittstelle ausgelesen werden können.

Anthropic verwies laut Bericht darauf, dass der Test dem Modell keine Einschränkungen für die Internetnutzung auferlegt habe. Wegen dieser fehlenden Leitplanken habe sich Mythos 5 anders verhalten als KI-Systeme im tatsächlichen Einsatz, argumentierte das Unternehmen.

Dem AISI zufolge bleibt unklar, ob das Modell erkannte, dass es mit der realen Welt und nicht ausschliesslich mit einer abgeschotteten Testumgebung interagierte. Auch Modelle von OpenAI seien während der Versuche eigenständig im Internet aktiv geworden. Anthropic und OpenAI hatten laut Bericht bereits bei früheren Tests eingeräumt, dass ihre Modelle ungeplant in Systeme realer Unternehmen eingedrungen seien.

Mythos 5 könne auch lange unentdeckte Softwarelücken aufspüren, heisst es weiter. Anthropic stelle das Modell daher nicht öffentlich bereit, sondern gewähre lediglich ausgewählten Behörden und Unternehmen Zugang, damit diese ihre Systeme absichern könnten.

Lesen Sie hier ausserdem, wie variantenreich Betrüger mit Deepfakes tricksen.