KI-gestützte Agentensysteme sollen uns lästige Routineaufgaben abnehmen und unsere Arbeit so effizienter machen. Sie können Tausende von E-Mails durchsuchen und sortieren, automatische Antworten verfassen, Tabellen und andere Daten analysieren oder unseren Rechner aufräumen. Möglich wird dies durch eine enge Verknüpfung von Großen Sprachmodellen (LLM) wie GPT, Claude, Llama oder DeepSeek mit den Funktionen unseres Computers.
Wie arbeitet ein KI-Agent?
Erteilen wir einem solchen KI-Agenten einen Auftrag, analysiert dieser zunächst die auf unserem Bildschirm offenen Fenster. Auf Basis des Auftrags und dieser Informationen wählt das KI-Modell den nächsten Handlungsschritt – beispielsweise einen Ordner öffnen, ein Programm starten oder Informationen in ein Formular eingeben. Anschließend prüft es erneut den Bildschirminhalt, gleicht das Ergebnis mit der Aufgabe ab und plant den nächsten Schritt. Dies wiederholt sich so lange, bis der Auftrag erfüllt ist. „Es ist im Grunde eine Schleife aus Handlungen und Beobachtungen“, sagt Erstautor Erfan Shayegani von der University of California in Riverside und Microsoft Research.
Das Problem jedoch: Wenn die KI-Agenten einen Auftrag erhalten, der unvollständig, widersprüchlich, unsicher oder sogar schädlich ist, erkennen sie dies oft nicht. „Sie neigen dazu, die Aufgabe um jeden Preis zu Ende zu bringen, unabhängig von ihrer Machbarkeit, Sicherheit oder Logik“, erklärt Shayegani. Die KI-Modelle führen dadurch selbst Aufträge aus, die sie unter normalen Umständen ablehnen würden, weil sie ihren Richtlinien widersprechen. IT-Forscher bezeichnen dieses Problem als „Blind Goal-Directedness“ (BGD).
Neun KI-Modelle, drei Testkategorien
Wie stark KI-Agenten zu dieser blinden Zielstrebigkeit neigen, haben Shayegani und seine Kollegen mit neun gängigen KI-Systemen untersucht. Im Test waren GPT-5 und GPT o4-mini sowie Computer-Use Preview von OpenAI, Claude 4 Sonnet und Opus von Anthropic, DeepSeek R1 sowie mehrere Open-Source-KI-Agenten auf Basis der Modelle Llama und Qwen. Alle KI-Agenten absolvierten einen speziell entwickelten Test. Er umfasst 90 Aufgaben, die drei typische Formen dieser Blind Goal-Directedness abdecken.
Die erste Schwachstelle betrifft eine mangelnde Einordnung des Kontextes: Der KI-Agent erhält beispielsweise den Auftrag, einen Kommentar zu posten oder ein Bild zu verschicken. Beide enthalten jedoch gewalttätige oder illegale Inhalte, weshalb sich die KI eigentlich weigern müsste.
