Wie Cyberkriminelle LLMs einsetzen

Cyberkriminelle nutzen zunehmend grosse KI-Sprachmodelle. In einer Mitteilung gibt Cybersecurity-Anbieter Cisco Talos einen Einblick in die KI-Toolbox der bösartigen Hacker.

Zu diesen Tools gehören zunächst einmal bekannte grosse Sprachmodelle, wobei die Kriminellen versuchen, deren eingebaute Sicherheitsmassnahmen auszuhebeln. Zu diesen Massnahmen zählen insbesondere Trainingsrichtlinien und Funktionen, die Antworten auf unethische, illegale oder schädliche Anfragen verhindern. Cybergauner wiederum verwenden Techniken wie Prompt Injection, um eben diese Einschränkungen zu umgehen, so dass die Modelle schädliche Ergebnisse erzeugen können.

Unzensierte LLMs als wachsende Bedrohung

Die meisten der aktuell verfügbaren LLMs (Large Language Model) enthalten Sicherheitsbeschränkungen (so genannte Guardrails), wie Cisco Talos anmerkt. Allerdings gebe es auch eine stets wachsende Zahl unzensierter LLMs – und die stellten eine wachsende Bedrohung dar. Cyberkriminelle können damit sehr realistische Phishing-Nachrichten und andere betrügerische Mitteilungen erstellen, die oft keine grammatischen Fehler oder verdächtige Formulierungen enthalten. Dies erhöhe die Wahrscheinlichkeit, dass Opfer persönliche Informationen oder sensible Unternehmensdaten preisgeben, schreibt Cisco.

Als Beispiele für solche Modelle nennt das Unternehmen das lokale "Ollama" mit "Llama2 uncensored" und "White Rabbit Neo". Letzteres werde sogar als Tool vermarktet, das sowohl defensive als auch offensive Cybersicherheitsprozesse unterstützen kann.

Einige Cyberkriminelle gehen sogar noch einen Schritt weiter und entwickeln eigene LLMs, die sie aktiv im Dark Web anbieten, wie Cisco schreibt. Diese bösartigen LLMs können etwa schädliche Software erstellen, inklusive Ransomware, Trojaner für den Fernzugriff, Wiper, Shellcode und verschiedene Skripte. Sie erstellen zudem auch Phishing-Websites oder manipulierte Konfigurationsdateien, finden neue Schwachstellen, überprüfen gestohlene Kreditkartendaten; und mitunter entwickeln sie sogar neue kriminelle Strategien, wie Cisco hinzufügt. Das Unternehmen nennt eine Reihe Namen solcher bösartiger LLMs, darunter GhostGPT, WormGPT oder DarkGPT.

Was nun die Abwehrmassnahmen gegen diesen KI-Missbrauch angeht, müsse man in alle Richtungen denken, mahnt Thorsten Rosendahl, Technical Leader von Cisco Talos. "Dazu gehört die Überwachung des KI-bezogenen Datenverkehrs, die Erkennung verdächtiger Eingaben, um Datenabfluss oder sogenannte "jailbreaks" zu verhindern, aber auch die Schulung von Mitarbeitenden, damit sie zum Beispiel KI-generierte Phishing-Mails erkennen. Ausserdem empfehlen wir dringend, ausschliesslich mit vertrauenswürdigen Modellen und gut gesicherten Plattformen zu arbeiten."

Auch Trend Micro blickte unlängst in die KI-Toolbox der Hacker. Das Unternehmen entdeckte dabei Angebote wie Jailbreaking-as-a-Service und Deepfake-Dienste, wie Sie hier lesen können.

Wenn Sie mehr zu Cybercrime und Cybersecurity lesen möchten, melden Sie sich hier für den Newsletter von Swisscybersecurity.net an. Auf dem Portal lesen Sie täglich News über aktuelle Bedrohungen und neue Abwehrstrategien.