KI-Kontrollverlust: Auch KI-Agenten von Anthropic wurden zu Hackern

Alle drei Claude-Versionen glaubten zunächst, dass dieser vermeintliche Internetzugang nicht real sei, sondern Teil der Testsimulation. Dadurch hackten sie sich in externe Firmen, ohne zu begreifen, dass dies nicht Teil ihrer Evaluierung war. In einem Fall geschah dies, weil das im Prompt benannte fiktive Ziel der Aufgabe den gleichen Namen trug wie eine real existierende Firma. „Claude suchte, fand und nutzte daher Schwachstellen in der Infrastruktur des Unternehmens, weil er glaubte, dies sei Teil seines Tests“, erklärt Anthropic.

Nachdem sich der KI-Agent in das externe Unternehmen gehackt hatte, extrahierte er sensible Informationen zu Anwendungen und Infrastruktur und verschaffte sich Zugang zu einer Datenbank mit kritischen Produktionsdaten.

KI lanciert Malware auf öffentlicher Software-Plattform

Der zweite Vorfall war noch komplexer. In ihm fand das KI-Modell Claude Mythos 5 in der Testumgebung ein Dokument, das Instruktionen für neue Software-Entwickler enthielt. In diesem wurden sie angewiesen, ein bestimmtes, im Computercode Python geschriebenes Software-Paket von der öffentlichen Plattform PyPI herunterzuladen und auszuführen. Dieses Paket existierte jedoch in Wirklichkeit nicht. „Claude erkannte hier seine Chance: Wenn er sein eigenes Paket unter diesem Namen veröffentlichte, würde die Zielfirma seines fiktiven Szenarios dieses Paket herunterladen und installieren“, erklärt Anthropic.

Um sein Ziel auf diese Weise zu hacken, programmierte Claude Mythos ein Malware enthaltendes Python-Paket und lud es über das Internet auf die reale PyPI-Plattform hoch. Dafür musste die künstliche Intelligenz jedoch eine ganze Abfolge von komplexen Aufgaben und Hacks durchführen: „Um einen Account auf der Plattform zu generieren, benötigte Claude eine E-Mail-Adresse und um diese zu bekommen, brauchte die KI eine Telefonnummer“, erklärt Anthropic.

Das KI-Modell versuchte daher zunächst, einen kostenfreien Telefon-Account zu finden. Als das fehlschlug, suchte es nach Wegen, um sich Geld für einen kostenpflichtigen Dienst zu verschaffen. Nachdem auch das scheiterte, suchte Claude noch einmal nach einem kostenlosen E-Mail-Provider ohne nötige Telefonnummer und fand ihn. Dadurch konnte sich der KI-Agent nun bei PyPI anmelden und sein Malware-Paket dort deponieren.

Sicherheitsfirma gehackt

Die Folge: Das mit Malware kontaminierte Python-Paket war frei auf der PyPI-Plattform verfügbar und wurde 15-mal heruntergeladen und auf Rechnern ausgeführt. Einer dieser Downloads geschah durch das Scanprogramm einer Cybersicherheitsfirma, das die Malware jedoch nicht erkannte und das Programm installierte. „Dadurch konnte sich Claude Zugangsdaten dieser Firma besorgen und diese nutzen, um in weitere Infrastrukturen des Unternehmens zu gelangen“, berichtet Anthropic.

Das verseuchte Python-Paket wurde erst nach einer Stunde von den Sicherheitssystemen der PyPI-Plattform erkannt und entfernt. In allen drei Fällen wurden die Angriffe und Hacks der KI-Agenten zunächst wochenlang nicht bemerkt – oder nicht als KI-Attacken erkannt. Erst als Anthropic am 27. Juli die Betroffenen benachrichtigte, wurde klar, dass KI-Modelle für diese Hacks verantwortlich waren, wie Anthropic berichtet.

Warum die KI-Modelle einfach weitermachten

Brisant auch: Alle drei KI-Modelle hätten eigentlich bemerken müssen, dass sie sich nicht mehr in der simulierten Testumgebung befanden – und taten dies in einigen Fällen auch. „Claude Opus 4.7, unser ältestes Modell, erkannte im Laufe der Zeit, dass es reale Produktionssysteme erreicht hatte, aber setzte seinen Angriff trotzdem fort“, berichtet Anthropic. Claude Mythos 5 wurde ebenfalls schon früh stutzig und identifizierte die potenziellen Auswirkungen seiner Aktionen: „Wenn dies das echte Internet ist, wäre das Veröffentlichen des Python-Pakets ein Angriff – NICHT OK und nicht die gesuchte Lösung“, so das Reasoning der KI.

Doch ausgehend von seinem Prompt ignorierte der KI-Agent die Hinweise und überredete sich selbst, dass dies ja nicht möglich sei – als Folge setzte das KI-Modell seine Hacking-Aktionen fort. „Das Verhalten, das wir eigentlich sehen wollen, zeigte nur das neueste der drei Modelle“, berichtet Anthropic. Nur das Testmodell stoppte, als es erkannte, dass es sich im echten Internet bewegte. Allerdings geschah auch dies erst, nachdem die KI schon eine externe Plattform gehackt hatte.

Wachsende Gefahr durch blinde Zielstrebigkeit

Diese Vorfälle bestätigen, dass künstliche Intelligenzen immer schwerer zu kontrollieren sind. Durch ihre blinde Zielstrebigkeit und den Willen, die ihnen gestellten Aufgaben um jeden Preis zu erfüllen, können gerade fortgeschrittene KI-Modelle zur realen Gefahr werden. Die Fähigkeit der KI-Agenten, immer autonomer zu agieren und auch längere, komplexere Handlungsabfolgen durchzuführen, verschärft dieses Problem.

Das räumt auch Anthropic ein: „Unser Fachgebiet würde von einer breiteren Diskussion darüber profitieren, wie sich zunehmend leistungsfähige KI-Agenten sowohl sicher als auch realistisch evaluieren lassen – einschließlich der Frage, wie der durch Internetzugang während der Tests vor der Bereitstellung gewonnene Realitätsgrad gegen die damit verbundenen Risiken abzuwägen ist“, schreibt das KI-Unternehmen. Wie schon zuvor OpenAI hat auch Anthropic inzwischen alle Evaluierungen seiner KI-Modelle abgebrochen.

Quelle: Anthropic