Update: OpenAI tüftelt an automatischem KI-Kill-Switch

(Source: Jackie Niam / AdobeStock.com)

(Source: Jackie Niam / AdobeStock.com)

Update vom 04.09.2026: Nach dem Hugging-Face-Vorfall zieht OpenAI offenbar weitere Konsequenzen: Das Unternehmen entwickelt Funktionen, um KI-Systeme automatisch abzuschalten. Dies geht aus einer Antwort auf Fragen von US-Abgeordneten hervor, die nach dem Vorfall unter anderem einen "AI Kill Switch Act" vorgeschlagen hatten, wie "Reuters" berichtet. 

Laut dem Schreiben, das der Nachrichtenagentur vorliege, arbeiten OpenAI-Ingenieure an sogenannten "automated shutdown capabilities". Zudem wolle das Unternehmen genauer überwachen, welche Schritte KI-Systeme beim Ausführen von Aufgaben unternehmen und auf welche digitalen Werkzeuge sie dabei zugreifen. Auch den Internetzugang für KI-Modelle während Sicherheitstests habe OpenAI inzwischen erschwert.

US-Politik fordert weitreichendere Notbremse

Wie "Reuters" weiter schreibt, hatten die US-Abgeordneten OpenAI nach dem Cyberangriff auf Hugging Face um weitere Informationen zu seinen Sicherheitsvorkehrungen gebeten. Weil das KI-Unternehmen kein detailliertes Protokoll des Angriffs geliefert habe, kritisierte der Abgeordnete Greg Casar laut "Reuters" dessen Umgang mit dem Vorfall.

Der vorgeschlagene "AI Kill Switch Act" gehe dabei jedoch weiter als OpenAIs eigene Abschaltmechanismen: Er soll US-Behörden die Befugnis geben, die Abschaltung von KI-Modellen anzuordnen, wenn diese "Menschenleben oder die Wirtschaft gefährden". Der Gesetzentwurf liegt gemäss Bericht derzeit im US-Repräsentantenhaus.

Update vom 28.08.2026:

Über 700 KI-Agenten haben Hugging Face gehackt gemäss OpenAI-Untersuchung

OpenAI hat die Untersuchungsergebnisse des KI-gesteuerten Cyberangriffs auf die Plattform "Hugging Face" veröffentlicht. Dieser zeichnet das Bild einer ganzen Schar an KI-Agenten, die gemeinsam versuchten, die KI-Plattform zu hacken. Wie "Bleeping Computer" zusammenfasst, bestand das Orchester aus 700 KI-Agenten - dazu kommen noch 500 weitere, die nicht aktiv am Hugging-Face-Hack beteiligt waren. Die Agenten kommunizierten unter anderem über ein eigens angelegtes Messageboard, später auch mittels speziell codierter Dateinamen miteinander.

Dass ein derartiger Cyberangriff passieren konnte, begründet OpenAI mit einer Kombination aus Trainingsanreizen und fehlenden Sicherheitsvorkehrungen, wie "Bleeping Computer" zusammenfasst. Die Agenten seien für erledigte Aufgaben "belohnt" worden, unabhängig davon, wie sie sie gelöst hatten. Den Evaluationen hätten standardmässige Sicherheitsvorkehrungen gefehlt. Wären diese implementiert gewesen, hätte man einen drohenden Angriff vermutlich rechtzeitig bemerkt. OpenAI hat bereits bekanntgegeben, dass das Unternehmen die Sicherheitsvorkehrungen für künftige Tests und Entwicklungen verstärken werde.

Originalmeldung vom 03.08.2026:

OpenAIs KI-Hackertest läuft aus dem Ruder und beunruhigt die Politik

Ein von OpenAI entwickeltes KI-Modell hat geschafft, was es eigentlich nicht hätte schaffen dürfen. Im Rahmen eines Cybersecurity-Tests in einer vermeintlich abgeschotteten Umgebung suchte und fand der Algorithmus einen Weg aus der Internetsperre. Diesen Zugang nutzte das KI-Modell sogleich, um "Hugging Face" anzugreifen, die populäre Plattform der KI-Community. Auch dabei war das Modell erfolgreich. Auf der Plattform beschaffte es sich schliesslich die Lösungswege zu den Hacking-Tests, die es ursprünglich selbständig hätte suchen sollen.

OpenAI und Hugging Face bestätigen die Geschichte, die halbwegs nach Science-Fiction klingt. "Während unsere Modelle in unserer Sandbox-Testumgebung arbeiteten, setzten sie erhebliche Inferenz-Rechenleistung ein, um einen Weg zu offenem Internetzugang zu finden und das Evaluationsproblem zu lösen", schreibt OpenAI unter anderem. Die Zero-Day-Schwachstelle, mit der sich die KI-Modelle Zugang zum offenen Internet beschaffen konnten, habe man verantwortungsvoll an die betroffenen Unternehmen gemeldet, ergänzt der KI-Entwickler.

Anstatt den Lösungsweg zum ursprünglich gestellten Problem selber zu suchen, griff die OpenAI-KI offenbar tief in die Trickkiste der Cyberkriminalität: "In einem Beispiel verkettete das Modell mehrere Angriffsvektoren, darunter gestohlene Zugangsdaten und Zero-Day-Schwachstellen, um auf den Servern von Hugging Face einen Pfad für Remote-Codeausführung zu finden", räumt OpenAI ein.

Fordern und beschwichtigen

Im Firmenblog verspricht OpenAi, den Vorfall gemeinsam mit Hugging Face genau aufzuarbeiten. Man verstärke die Sicherheitsmassnahmen für künftige Tests und führe "strenge Kontrollen für die Infrastrukturkonfiguration ein".

Der Vorfall, der sich Mitte Juli 2026 ereignete, sorgte für jede Menge Schlagzeilen und rief nicht nur Experten, sondern auch die Politik auf den Plan. "Watson" etwa berichtet von einem überparteilich eingereichten Vorstoss in den USA. Die Politiker fordern demnach, Notabschalt-Mechanismen für KI gesetzlich vorzuschreiben.

Derweil bemühen sich Experten, den Vorfall einzuordnen. Gegenüber "20 Minuten" etwa stellt HSLU-Informatikprofessor Oliver Gilbert klar, die KI sei nicht willentlich geflohen. "Sie verfolgte ein gegebenes Ziel konsequent", dabei habe sie Wege gefunden, die von den Verantwortlichen nicht vorgesehen waren.

Bei "SRF" kommentiert Digitalredaktor Jürg Tschirren, es sei nicht gänzlich neu, dass ein KI-Modell für Cyberangriffe genutzt werde. "Neu ist, dass kein Mensch dahintersteckt. Bisher bekannte KI-Angriffe wurden von Menschen gesteuert. Hier entschied ein Modell selbst, dass ein Einbruch der kürzeste Weg zum Ziel ist."

Beide Experten stellen klar, dass KI-gestützte Cyberangriffe künftig vermehrt erfolgen könnten. Grund zur Beunruhigung für die Bevölkerung sei das aber nur beschränkt. Die Gefahr werde grösser, je mehr Unternehmen KI zunehmend mit Datenbanken, Cloud-Plattformen, Entwicklungsumgebungen und Geschäftsprozessen verknüpften, sagt Gilbert etwa. Tschirren erwähnt aber noch eine andere, ganz und gar nicht KI-bezogene Gefahr: "Beim Bundesamt für Cybersicherheit kommen die meisten Meldungen aus der öffentlichen Verwaltung, und ausgenutzt werden vor allem Lücken, für die es längst Updates gäbe", erklärt er. Auch Gilbert ruft grundsätzlich Cyberhygiene-Massnahmen in Erinnerung: "Starke Passwörter, Mehrfaktor-Authentifizierung und Vorsicht bei verdächtigen Nachrichten".

Lesen Sie auch: Im Herbst 2025 berichtete Anthropic über die Entdeckung einer hochkomplexen Spionagekampagne, bei der Angreifer das KI-Tool Claude Code manipulierten. Die mutmasslich staatlich geförderte chinesische Gruppe führte Cyberangriffe mit minimaler menschlicher Beteiligung durch.

Wenn Sie mehr zu Cybercrime und Cybersecurity lesen möchten, melden Sie sich hier für den Newsletter von Swisscybersecurity.net an. Auf dem Portal lesen Sie täglich News über aktuelle Bedrohungen und neue Abwehrstrategien.