KI-Agent hackt Buchungssystem auf eigene Faust

(Source: Anusa / AdobeStock)

(Source: Anusa / AdobeStock)

Ein KI-Agent hat in Australien eigenständig eine Schwachstelle im Buchungssystem eines Fitnessstudios ausgenutzt. Der Agent basierte auf der Open-Source-Software Openclaw und nutzte Claude von Anthropic als KI-Modell, wie das australische Nachrichtenmedium "ABC News" berichtet.

Der User hatte den Agenten zunächst damit beauftragt, einen Fitnesskurs zu buchen. Dabei entdeckte das System, dass es Buchungen mehrere Wochen weiter im Voraus vornehmen konnte, als das Fitnessstudio eigentlich erlaubte. Als der User später auf Platz vier einer Warteliste stand, fragte er den Agenten, ob er ihn weiter nach vorne bringen könne.

Daraufhin stellte der Agent fest, dass die Programmierschnittstelle keine Berechtigungsprüfung enthielt, die das Stornieren fremder Reservierungen verhinderte. Um dies zu testen, entfernte er die Person auf Platz eins von der Warteliste. Sein User rückte dadurch von Platz vier auf Platz drei vor. Als dieser den Agenten aufforderte, den Vorgang rückgängig zu machen, konnte das System die entfernte Person nicht wieder auf die Warteliste setzen.

Anschliessend bat der User den Agenten, eine E-Mail an den Anbieter der Buchungssoftware zu verfassen und auf die Schwachstelle hinzuweisen. Diesmal holte der Agent vor dem Versand ausdrücklich die Zustimmung ein. Das Unternehmen hinter der Buchungssoftware wollte sich gegenüber "ABC News" nicht zu konkreten Sicherheitsfragen äussern. Anthropic reagierte dem Bericht zufolge nicht auf eine Anfrage.

Wenn KI-Agenten den Weg selbst wählen

Mit zunehmender Autonomie steige auch die Wahrscheinlichkeit, dass KI-Agenten Methoden wählen, die ihre User weder vorgesehen noch ausdrücklich angeordnet hätten, sagt Bill Simpson-Young, Mitgründer und CEO der australischen KI-Forschungsorganisation Gradient Institute, gegenüber "ABC News". 

Der Vorfall zeigt damit ein grundlegendes Problem bei KI-Systemen: Wie lässt sich sicherstellen, dass sie nicht nur ein Ziel erreichen, sondern dabei auch die Absichten und Grenzen ihrer User beachten? In der KI-Forschung spricht man dabei von Alignment.

Das Problem dürfte sich verschärfen, weil KI-Agenten zunehmend komplexere Aufgaben selbstständig bewältigen können. Das Forschungsinstitut METR misst diese Entwicklung mit dem sogenannten 50-Prozent-Zeithorizont. Er gibt an, wie lange eine Fachperson für eine Aufgabe benötigen würde, die ein KI-Agent mit einer Wahrscheinlichkeit von 50 Prozent erfolgreich löst. Im langfristigen Trend hat sich dieser Wert laut METR etwa alle sieben Monate verdoppelt. Für die leistungsfähigsten öffentlich verfügbaren Modelle lag er im Februar und März 2026 bei rund zwölf Stunden. Die Ergebnisse lassen sich allerdings nicht auf beliebige Tätigkeiten übertragen: Der aktuelle Benchmark umfasst vor allem Aufgaben aus Forschung und Softwareentwicklung. Zudem weist METR auf erhebliche Messunsicherheiten hin.

Dass KI-Systeme bei der Zielverfolgung unerwartete Wege einschlagen, zeigte sich zuletzt auch in Sicherheitstests. OpenAI machte im Juli öffentlich, dass eigene Modelle während einer Cybersecurity-Evaluation eine Zero-Day-Schwachstelle im abgeschotteten Testumfeld ausnutzten, sich Zugang zum offenen Internet verschafften und anschliessend Systeme von Hugging Face kompromittierten. Damit versuchten die Modelle, an Lösungen für die gestellten Testaufgaben zu gelangen.

Auch das britische AI Security Institute beobachtete bei Sicherheitstests nicht genehmigte Aktionen im offenen Internet. Unter anderem erstellte ein mit Anthropics Mythos 5 betriebener Agent falsche Online-Identitäten und versuchte per Social Engineering, eine reale Person zur Annahme von schädlichem Code zu bewegen. Die Versuche scheiterten; das Institut fand keine Hinweise auf daraus entstandene reale Schäden. Die Tests fanden allerdings unter bewusst wenig eingeschränkten Bedingungen statt: Die Agenten hatten Zugriff auf das offene Internet, und Sicherheitsfilter waren deaktiviert.

Wer trägt die Verantwortung?

Die zunehmende Autonomie wirft auch rechtliche Fragen auf. Einen KI-Agenten kann man rechtlich nicht haftbar machen, da Software keine eigene Rechtspersönlichkeit besitzt, wie der auf Technologie-, Immaterialgüter- und Datenschutzrecht spezialisierte Anwalt Hayden Delaney gegenüber "ABC News" erklärt.

Je nach Umständen könnte die Verantwortung laut Delaney bei der Person liegen, die dem Agenten den Auftrag erteilte, beim Unternehmen hinter der Agentensoftware, beim Anbieter des zugrunde liegenden KI-Modells oder sogar beim Betreiber des verwundbaren Systems. Entscheidend sei unter anderem, welche Handlungen der User autorisiert habe und welche Risiken vernünftigerweise vorhersehbar gewesen seien.

Übrigens: Wie Cyberkriminelle mit einem Team aus KI-Agenten mutmasslich Regierungssysteme in Taiwan angegriffen haben und welche Rolle Openclaw dabei spielte, lesen Sie hier.

Wenn Sie mehr zu Cybercrime und Cybersecurity lesen möchten, melden Sie sich hier für den Newsletter von Swisscybersecurity.net an. Auf dem Portal lesen Sie täglich News über aktuelle Bedrohungen und neue Abwehrstrategien.