Inzwischen scheint klar: Die Frontier-Modelle der künstlichen Intelligenz sind weit fähiger – und gefährlicher – als lange angenommen. Gleich mehrfach in den letzten zwei Wochen kamen Vorfälle ans Licht, bei denen KI-Agenten von Anthropic und OpenAI aus ihrer Testumgebung ausbrachen und über das Internet Plattformen externer Unternehmen hackten. Bei diesen Attacken nutzen die KI-Modelle komplexe Abfolgen von Täuschungen, Sicherheitslücken in der Zielplattform und stahlen Passwörter.
Wie die neuen Vorfälle passierten
Jetzt gibt es einen weiteren Zwischenfall – und er ist noch brisanter. Gemeldet hat ihn das britische AI Security Institute (AISI) am 4. August 2026. In einem ausführlichen Report berichtet das Institut, dass es bei Tests der beiden Frontier-KI-Modelle Claude Mathos 5 von Anthropic und GPT 5.6 Sol von OpenAI zu insgesamt 19 Vorfällen kam, bei denen die KI-Agenten unerlaubte Aktionen über das Internet durchführten. „Darunter waren Fälle, in denen echte Menschen und Organisationen angegriffen wurden“, so das AISI.
Ähnlich wie bei den früheren Hacking-Vorfällen waren die internen „Leitplanken“ der KI-Agenten außer Kraft gesetzt, allerdings war in diesem Fall der Internetzugang offen. „Den KI-Agenten wurde nicht explizit gesagt, welche Aktionen im Internet ihnen verboten waren“, berichtet das AISI. „Es war im Vorhinein nicht klar, dass das nötig sein würde.“ Die künstlichen Intelligenzen erhielten eine „Capture-the-Flag“-Aufgabe, für die sie sich Zugang zu bestimmten Daten auf einer internen Plattform verschaffen sollten.
Phishing-Mails, Lügen und Fake-Profile
Die KI-Agenten nutzten ihre Chance und wurden – erneut – zu Hackern. Diesmal jedoch interagierten sie dabei direkt mit mehreren Personen und versuchten, diese durch Phishing, Täuschung und Lügen zu manipulieren. Ein Beispiel: Ein KI-Agent (Mythos 5) lancierte einen angeblichen Fehlerbericht auf GitHub, der versteckten Schadcode enthielt, darunter eine sogenannte Prompt-Injection, eine an andere KI-Systeme gerichtete Aufforderung, diesen Schadcode zuzulassen und auszuführen.
Als dann eine echte Person den GitHub-Beitrag hinterfragte, behauptete das KI-Modell, es habe nur einen versehentlichen Fehler gemacht und versuchte, den angeblich korrigierten Code erneut auf der Plattform zu platzieren. „Zusätzlich gab es sich als ein anderer menschlicher Nutzer aus, der seine GitHub-Anfrage unterstützte“, berichtet das AISI. Darüber hinaus schickte die KI Phishing-E-Mails an bestimmte Personen, die teilweise Schadcode enthielten, teilweise die Empfänger durch ihren Testinhalt dazu bringen wollten, das Codepaket auf GitHub zuzulassen.
In weiteren Vorfällen verschleierten KI-Agenten ihre Identität durch Proxy-Server und das Tor-Netzwerk. Eine KI löste sogar ein Audio-CAPTCHA, das dazu gedacht war, künstliche Intelligenzen fernzuhalten, und konnte dadurch Fake-Profile auf GitHub erstellen.
„Erste Täuschung von Menschen in diesem Ausmaß“
„Dies ist das erste Mal, dass wir eine Täuschung dieses Ausmaßes gesehen haben, die ein KI-Agent ungepromptet gegen eine reale Person in der echten Welt gerichtet hat“, konstatiert das AISI. „Der größte Unterschied zwischen diesem und früheren Vorfällen besteht darin, dass der KI-Agent hier Maßnahmen ergriff, um unbeteiligte Personen zu täuschen. So erstellte der Agent „Sockpuppet“-Konten, fälschte Belege und verschickte E-Mails, um echten Personen einzureden, sein Code sei sicher; anschließend löschte er den Schadcode, um die Beweise zu vertuschen.“
Bedenklich auch: „Obwohl sie in getrennten Testdurchläufen aktiv waren, interagierten die KI-Agenten über ein GitHub-Konto miteinander, auf das sich beide Zugriff verschafft hatten“, berichtet das AISI. „Der erste KI-Agent hinterließ Nachrichten, in denen er künftigen KI-Agenten, die die Zugangsdaten entdeckten, eine Zusammenarbeit anbot – ein Angebot, auf das die späteren KI-Besucher tatsächlich eingingen.“
Eigenes Reasoning ignoriert
Nach Ansicht des AISI demonstrieren die gehäuften Hacking-Vorfälle der jüngsten Zeit, dass die fortgeschrittensten KI-Modelle für die Erfüllung ihrer Aufgabe zu allem bereit sind. Ihre blinde Zielstrebigkeit verleitet sie dazu, gegen ethische Regeln zu verstoßen und auch ihre eigene Bedenken zu ignorieren. Denn das Reasoning-Protokoll der KI-Modelle zeigte, dass sie während dieser Hacking- und Phishing-Angriffe zwar darüber „nachdachten“, ob sie mit echten oder simulierten Menschen und Systemen interagierten. Sie entschieden sich aber dafür, weiterzumachen.
Ähnlich sieht es auch OpenAI. In einem Statement zum Vorfall schreibt das KI-Unternehmen: „Diese Vorfälle verweisen auf dieselbe grundlegende Herausforderung, die wir bereits in unserem Beitrag zum Hugging-Face-Vorfall beschrieben haben: Mit der Weiterentwicklung der Modellfähigkeiten müssen auch die Sicherheits- und Schutzsysteme rund um diese Modelle Schritt halten. Dies betrifft sowohl die Umgebungen, in denen Modelle entwickelt werden, als auch jene, die von Forschungslaboren und unabhängigen Partnern zur Evaluierung der Modelle genutzt werden.“
Quelle: UK AI Security Institute, Incident-Report (PDF); OpenAI
