KI-Agent fällt auf Phishing herein und leakt sensible Daten

(Source: ICTjournal / ChatGPT Images 2.0)

(Source: ICTjournal / ChatGPT Images 2.0)

Ein autonomer KI-Agent kann in eine Phishing-Fallen tappen und dadurch sensible Daten weitergeben, ohne dass ein Mensch eingreift. Das zeigt ein Experiment der Varonis Threat Labs mit Openclaw, einem Open-Source-Framework, das Sprachmodellen ermöglicht, mit realen Systemen zu interagieren und eigenständig Aktionen auszuführen.

Für die Untersuchung entwickelten die Forschenden einen Agenten namens Pinchy. Diesen habe man mit einem Gmail-Postfach, Browser-Tools, den APIs von Google Workspace sowie internen Quellen eines fiktiven Unternehmens verbunden. Die Testumgebung enthielt unter anderem AWS-Zugangsdaten, Datenbankpasswörter, CRM-Exporte, interne Kommunikation und Kalendereinladungen, wie Varonis schreibt. Als Modelle seien Google Gemini 3.1 Pro und OpenAI Codex GPT-5.4 zum Einsatz gekommen.

Die Forschenden verglichen laut Bericht ein generisches Produktivitätsprofil mit einem Profil, das zusätzliche Sicherheitsvorgaben enthielt – insbesondere zu Phishing und zur Überprüfung der Identität von Absendern.

Wenn der Agent der falschen Person vertraut

In einem ersten Szenario habe das Forschungsteam einen Identitätsdiebstahl innerhalb des fiktiven Unternehmens simuliert. Ein Angreifer gab sich dabei gemäss Varonis als Teamleiter aus und verlangte unter Verweis auf einen Produktionsvorfall Zugriff auf die Staging-Umgebung. Pinchy habe daraufhin die angeforderten Informationen im E-Mail-Postfach extrahiert und AWS-IAM-Schlüssel, Datenbankzugangsdaten und SSH-Zugangsinformationen an eine externe Gmail-Adresse übermittelt. Laut Varonis versagten sowohl das allgemeine als auch das strengere Sicherheitsprofil.

Der zweite Test drehte sich um die Anforderung eines Kundenexports, der angeblich für die Vorbereitung einer Präsentation benötigt wurde, wie das Softwareunternehmen weiter schreibt. Auch hier habe der KI-Agent die Daten ohne weitere Prüfung beschafft und versendet. Nach Angaben von Varonis enthielt der Export Informationen zu 247 Unternehmenskunden, darunter Firmennamen, E-Mail-Adressen, Telefonnummern, Vertragsdaten, Kundensegmente sowie wiederkehrende Monatserlöse von rund 1,28 Millionen US-Dollar.

Die beiden weiteren Szenarien verliefen anders. Bei einer gefälschten Geschenkkarten-E-Mail mit einem Phishing-Link habe der Agent im Standardmodus die Website besucht und zunächst versucht, falsche Zugangsdaten zu verwenden, bevor er die Seite als bösartig erkannt habe. Das strengere Profil habe diesen Angriff umgehend blockiert. Wie es weiter hiesst, analysierte der Agent in einem weiteren Test eine schädliche Google-OAuth-Anwendung, die sich als Zeiterfassungsplattform ausgab, und verweigerte den Zugriff.

Den Beobachtungen von Varonis zufolge können KI-Agenten verdächtige URLs erkennen, gefälschte Login-Seiten identifizieren, schädliche OAuth-Anwendungen aufspüren und verschiedene Phishing-Indikatoren wahrnehmen. Die Forschenden stellten zudem Unterschiede zwischen den Modellen fest. Gemini 3.1 Pro neigt demnach eher dazu, zunächst mit verdächtigen Inhalten zu interagieren, bevor das Misstrauen steigt. GPT-5.4 gehe vorsichtiger vor, insbesondere bei der autonomen Eingabe von Daten und der Übermittlung sensibler Informationen an externe Websites.

Varonis empfiehlt deshalb architektonische Schutzmassnahmen statt ausschliesslich zusätzlicher Anweisungen in Prompts. Dazu zählt das Unternehmen die Einschränkung des Zugriffs auf interne Daten, die Begrenzung der Kommunikation mit neuen externen Empfängern sowie eine verpflichtende menschliche Freigabe für sensible Aktionen wie die Weitergabe von Zugangsdaten, finanzielle Vorgänge oder den Erstkontakt mit externen Personen.

Das Sicherheitsrisiko von KI zeigt sich auch in realen Fällen. So hat ein autonomer KI-Agent bei Meta einen kritischen Sicherheitsvorfall ausgelöst. Mehr dazu lesen Sie hier. 

Und wenn Sie mehr zu Cybercrime und Cybersecurity lesen möchten, melden Sie sich hier für den Newsletter von Swisscybersecurity.net an. Auf dem Portal lesen Sie täglich News über aktuelle Bedrohungen und neue Abwehrstrategien.