Wer trägt Verantwortung, wenn KI im Unternehmen Fehler macht?

Unternehmen werden durch die KI-Verordnung verpflichtet, insbesondere folgende Punkte sicherzustellen:

Die Verordnung verschiebt die Last weg von einer rein nachträglichen Schadensregulierung hin zu einer präventiven Compliance-Struktur, die Unternehmen bereits in der Designphase in die Pflicht nimmt.

Der Mensch bleibt in der Verantwortung

Trotz fortschreitender Automatisierung bleibt der Human-in-the-loop das zentrale Dogma der ethischen und rechtlichen KI-Gestaltung. Die Verantwortung kann nicht vollständig an den Algorithmus delegiert werden. In Unternehmen manifestiert sich dies in der Pflicht zur Einrichtung qualifizierter Aufsichtsstrukturen. Es reicht nicht aus, einen Stopp-Knopf vorzuhalten; die delegierten Mitarbeiter müssen über die notwendige Kompetenz verfügen, die Logik des Systems zu verstehen und Anomalien zu erkennen. Hier entsteht ein neues Berufsbild an der Schnittstelle von Data Science, Ethik und Recht. Wenn eine KI im Recruiting-Prozess systematisch bestimmte Bevölkerungsgruppen benachteiligt, liegt die Verantwortung beim Unternehmen, wenn dieses keine Mechanismen zur Bias-Erkennung implementiert hat. Die Rechtsprechung tendiert dazu, Organisationsverschulden anzunehmen, wenn Unternehmen blind auf algorithmische Empfehlungen vertrauen (Automation Bias). Verantwortung bedeutet in diesem Kontext also vor allem die Aufrechterhaltung der menschlichen Urteilskraft über die digitale Prozesskette hinweg, um die Autonomie des Individuums gegenüber der Maschine zu wahren.

Kein Einzelschuldiger in komplexen KI-Systemen

Ein oft unterschätzter Aspekt der Verantwortungsfrage liegt in der Komplexität der digitalen Lieferketten. Moderne KI-Anwendungen sind selten monolithische Produkte eines einzelnen Anbieters; sie basieren auf Open-Source-Bibliotheken, Cloud-Infrastrukturen und vortrainierten Basismodellen. Wenn ein Fehler auftritt, stellt sich die Frage nach der Mitschuld der Zulieferer. Der AI Act adressiert dies durch Transparenzpflichten entlang der Wertschöpfungskette. Unternehmen müssen sicherstellen, dass sie nicht nur für das Endprodukt haften, sondern auch die Integrität der eingekauften Komponenten verifizieren können.

Wichtige Dimensionen dieser systemischen Verantwortung sind:

Letztlich führt die Diskussion weg von der Suche nach einem einzelnen Sündenbock hin zu einer geteilten Verantwortung (Shared Responsibility). In einer vernetzten Wirtschaft wird die Haftung zu einer Frage der vertraglichen Ausgestaltung und der technischen Validierung, wobei das anwendende Unternehmen stets die primäre Verantwortung gegenüber dem Endnutzer und der Gesellschaft behält.

FAQ – Konkrete Praxisfälle zur KI-Haftung beantwortet

Wer haftet, wenn eine KI eine falsche Kreditentscheidung trifft?
Grundsätzlich haftet das Unternehmen, das die KI einsetzt. Es ist verpflichtet, deren Funktionsweise zu verstehen sowie Risiken angemessen zu steuern, auch bei externer Software. Eine Haftung des Anbieters kann zusätzlich bestehen, hängt aber stark von den vertraglichen Vereinbarungen ab.

Was passiert, wenn eine KI im Recruiting diskriminiert?
Wenn eine KI systematisch bestimmte Bewerber benachteiligt, kann dies als Diskriminierung gewertet werden. Unternehmen haften insbesondere dann, wenn sie keine geeigneten Maßnahmen zur Bias-Erkennung und -Vermeidung implementiert haben. Hier wird häufig ein Organisationsverschulden angenommen.

Wer trägt die Verantwortung bei Fehlern durch externe KI-Dienstleister?
Auch bei der Nutzung externer Tools bleibt das Unternehmen in der Pflicht. Es muss sicherstellen, dass die eingesetzten Systeme den regulatorischen Anforderungen entsprechen. Gleichzeitig können Zulieferer im Rahmen von Verträgen oder Produkthaftung mitverantwortlich sein.

Was passiert, wenn eine KI falsche medizinische Empfehlungen gibt?
In sensiblen Bereichen wie der Medizintechnik gelten besonders strenge Anforderungen. Die Verantwortung liegt in der Regel beim Betreiber des Systems sowie bei den Herstellern. Entscheidend ist, ob ausreichende Kontrollmechanismen und menschliche Aufsicht vorhanden waren.

Kann sich ein Unternehmen darauf berufen, dass die KI nicht erklärbar ist?
Nein. Die fehlende Nachvollziehbarkeit entbindet nicht von der Verantwortung. Im Gegenteil: Unternehmen müssen sicherstellen, dass sie die Entscheidungen der KI zumindest in einem angemessenen Umfang erklären und kontrollieren können.

Wer haftet bei sogenannten „Halluzinationen“ von KI-Systemen?
Wenn ein KI-System falsche oder erfundene Informationen liefert und dadurch ein Schaden entsteht, haftet in der Regel das Unternehmen, das diese Inhalte nutzt oder weitergibt. Entscheidend ist, ob angemessene Prüfmechanismen implementiert wurden.

Welche Rolle spielt der AI Act bei der Haftung?
Der AI Act regelt primär präventive Pflichten und keine klassische Haftung. Er verpflichtet Unternehmen jedoch zu Risikomanagement, Dokumentation und Kontrolle. Verstöße können zu Sanktionen führen und sich indirekt auf Haftungsfragen auswirken.

Was bedeutet „Human-in-the-loop“ in der Praxis?
Es bedeutet, dass ein Mensch die Möglichkeit und Kompetenz haben muss, KI-Entscheidungen zu überprüfen und einzugreifen. Ein rein formaler Kontrollmechanismus ohne echte fachliche Bewertung reicht nicht aus.

Wie können Unternehmen sich konkret absichern?
Wichtige Maßnahmen sind: