Interview zur Künstlichen Intelligenz: "Schluss mit der Black Box!"

Wie lässt sich dieses Dilemma auflösen?
Dazu gibt es ein eigenes Forschungsfeld: die „Erklärbare Künstliche Intelligenz“ – momentan eines der aktivsten Teilgebiete der KI. Damit versucht man, einen Kompromiss zu finden, der es ermöglicht, leistungsfähige Algorithmen wie Neuronale Netze einzusetzen, aber gleichzeitig durch zusätzliche Methoden ein hohes Maß an Erklärbarkeit herzustellen.

Wie sieht das dann aus?
Mit meinem Team erforsche und entwickle ich Algorithmen, die das leisten. Ein Beispiel dafür haben wir 2019 vorgestellt. Das Verfahren, das wir dabei nutzen, basiert auf dem sogenannten Stellvertreteransatz. Das heißt: Ein Neuronales Netz lernt und entscheidet zum einen wie üblich, extrahiert aber zugleich ein sogenanntes White-Box-Modell, das Erklärbarkeit schafft. Das kann zum Beispiel ein Entscheidungsbaum sein, der recht gut veranschaulicht, wie es zu einer Entscheidung gekommen ist.

Lassen sich solche Ansätze bereits nutzen?
Teils, teils. Es gibt relativ einfache Erklär-Algorithmen, die auch schon produktiv eingesetzt werden. Doch sie können im Wesentlichen nur sagen, welche Merkmale der Daten wichtig sind für eine Entscheidung und welche nicht. Das ist im Prinzip die einfachste Art der Erklärung, die man liefern kann. Wechselbeziehungen, etwa zwischen verschiedenen Merkmalen, lassen sich damit aber nicht liefern. Doch unser Algorithmus ist dazu in der Lage. Er verrät zum Beispiel, welche Kombinationen aus Merkmalen eine Rolle spielen und wie bedeutend sie sind. Dieser Ansatz steckt allerdings noch im Forschungsstadium.

Wann werden komplexere Erklär-Algorithmen einsatzreif sein?
Ich glaube, das wird nicht mehr allzu lange dauern. Vermutlich wird es schon in den nächsten ein bis zwei Jahren Tools mit einer gewissen Marktreife geben. Momentan versuchen etliche Startup-Unternehmen, entsprechende Produkte zu entwickeln – vor allem in den USA. Auch wir am Fraunhofer IPA denken darüber nach, ein Start-up aus dem Institut heraus zu gründen.

Was ist, wenn ein KI-Algorithmus in der Medizin zur Unterstützung herangezogen wird, etwa bei Diagnosen oder Therapieempfehlungen? Da kann es ja um Leben und Tod gehen.
Das ist richtig. Anwendungen in der Medizin sind prinzipiell ein sehr heikles Thema. Das belegt etwa das Watson-Tool von IBM. Etliche Kliniken haben es für automatisierte Entscheidungen getestet, doch es war nicht zuverlässig genug. Die Technik wird aber immer besser, und die Medizin bleibt ein wichtiges Anwendungsfeld. Dazu sind wir unter anderem mit Radiologen an großen Kliniken in Stuttgart und Tübingen im Gespräch.

Worum geht es da konkret?
Es geht um das Auswerten von Computertomografie-Aufnahmen von Covid-19-Patienten. Ein erfahrener Radiologe kann anhand solcher CT-Bilder gut beurteilen, ob eine Lungenentzündung die Folge einer Corona-Virus-Infektion ist oder durch eine andere Infektion entstanden ist. Und ein Experte kann auch recht gut einschätzen, wie sich der Krankheitsverlauf entwickeln wird. Doch nicht jede Klinik hat solche Experten im Team oder viel Erfahrung mit schweren, durch das Corona-Virus induzierten Krankheitsverläufen. Daher ist zu überlegen, ob es sich nicht lohnt, automatisierte Algorithmen zu entwickeln, die Ärzte unterstützen. Bei solchen heiklen Anwendungen ist es entscheidend, dass das Tool nicht nur die Erkrankung beurteilt, sondern auch nachvollziehbar ist, wie es zu dieser Einschätzung gelangt.

Können transparente KI-Systeme den Umgang von Menschen mit intelligenten Maschinen grundlegend verändern?
Ja, sie können eine Vertrauensbasis schaffen. Darin sehe ich erhebliches Potenzial. Denn gerade in Deutschland sind viele Menschen eher skeptisch bei dieser Technik. Ich glaube, ein Algorithmus, der erklären kann, warum er wie entscheidet, hilft da enorm. Wir machen das ja häufig genauso: Wir begründen unsere Entscheidungen, und eine gute und nachvollziehbare Begründung wird meist akzeptiert – auch wenn man mit der Entscheidung nicht einverstanden ist.

Kann demnach mehr Transparenz die Anwendung der Künstlichen Intelligenz beflügeln?
Ja, das sehe ich so. Vor allem in den Bereichen, wo die Anforderungen hoch sind, wird mehr Transparenz die Künstliche Intelligenz pushen.

Wo etwa könnte das der Fall sein?
Zum Beispiel bei der Interaktion zwischen Menschen und Robotern. Ein Roboter, der erklärt, warum er so handelt, wie er handelt, sorgt für Akzeptanz und Vertrauen. Oder im Produktionsumfeld, wo sehr viel Geld auf dem Spiel stehen kann: Dieser Bereich ist von Ingenieuren dominiert. Und die legen von ihrer Ausbildung her großen Wert darauf zu verstehen, warum etwas geschieht. Sie sind oft erst einmal skeptisch, wenn eine Künstliche Intelligenz eigenständig Entscheidungen trifft. Da ist es wichtig, durch Erklärbarkeit Vertrauen zu schaffen.

Was könnte schiefgehen in der Produktion?
Wenn man beispielsweise einen Algorithmus für die Qualitätssicherung einsetzt, kann es versehentlich passieren, dass eine große Zahl von unzulänglichen Teilen nicht erkannt wird. Die Folge können Regressforderungen von Kunden sein. Wenn sich erklären lässt, wie der Fehler entstanden ist, kann das im Streitfall helfen.

Wie ist das beim autonomen Fahren? Da müssen intelligente Systeme für die Gesundheit oder sogar das Leben von Verkehrsteilnehmern hochriskante Entscheidungen blitzschnell treffen. Kann Erklärbarkeit dort helfen, die Technik sicherer zu machen?
In diesem Szenario ist es im Nachhinein wichtig, etwa einen Unfall schnell aufzuklären. Wer ist schuld daran, wenn ein autonomes Fahrzeug ein anderes Auto, einen Fußgänger oder Radfahrer übersehen hat? War es der Algorithmus? Oder war es eine Situation, in der ein Mensch nicht anders reagiert hätte? Da bietet ein nachvollziehbares System bei einem Fehler die Perspektive, die Algorithmen zu verbessern – und so dazu beizutragen, dass ähnliche Unfälle künftig nicht mehr passieren können.

Eine letzte Frage, die in eine andere Richtung zielt: Neuronale Netze sind ja in gewisser Weise eine Art Abbildung des menschlichen Gehirns. Wenn man eine Technik hat, deren Funktionsweise man versteht, ist es dann vorstellbar, umgekehrt daraus etwas Neues über das Gehirn zu lernen?
Da bin ich vorsichtig. Künstliche Neuronale Netze sind eine sehr grobe Abstraktion des menschlichen Gehirns. Zwar hat das natürliche Neuron als Vorbild für das künstliche Neuron gedient – doch so, wie man momentan Neuronale Netze baut, funktioniert das menschliche Gehirn nicht. Es ist viel komplizierter strukturiert und hochgradiger vernetzt. Deswegen kann man nicht so leicht vom einen aufs andere schließen. Dennoch haben mitunter schon Erkenntnisse aus der Künstlichen Intelligenz die Hirnforschung vorangebracht.

Können Sie ein Beispiel nennen?
Das sogenannte Reinforcement Learning: ein Teilbereich des Maschinellen Lernens, bei dem es darum geht, optimale Handlungen zu lernen. Das System Alpha Go – eine Künstliche Intelligenz, die meisterhaft Go spielt – ist ein Paradebeispiel dafür. Das Prinzip des Reinforcement Learning kommt aus der Natur. Es ist ein menschliches Lernparadigma, das man auch als Trial-and-Error-Learning bezeichnet. Wenn wir Menschen etwas Neues lernen, geht das so: Am Anfang scheitern wir, doch im Lauf der Zeit werden wir immer besser. So ungefähr funktioniert auch Reinforcement Learning. Als die Technik dafür entwickelt wurde, stellte sich heraus: Spezielle Algorithmen für das Reinforcement Learning – das sogenannte Temporal Difference Learning – helfen dabei, bestimmte Denkprozesse im Gehirn zu erklären. Es ist also durchaus möglich, dass es zu einem Wechselspiel der Erkenntnis zwischen Biologie und Technik kommt.

Über unseren Gesprächspartner:

Prof. Dr. Marco Huber leitete nach dem Informatikstudium an der Universität Karlsruhe ein Forschungsteam des Karlsruher Fraunhofer-Instituts für Optronik, Systemtechnik und Bildauswertung IOSB. Es folgten Tätigkeiten bei Unternehmen und am Karlsruher Institut für Technologie (KIT). Seit 2018 ist er Professor für kognitive Produktionssysteme an der Universität Stuttgart. Er leitet die Abteilung Bild- und Signalverarbeitung sowie das Zentrum für Cyber Cognitive Intelligence am Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA in Stuttgart. Seine Forschung zielt auf Maschinelles Lernen, Erklärbare Künstliche Intelligenz, Bildverarbeitung und Robotik in der Produktion.

Marco Huber ist Mitorganisator des Kongresses „Smarte Maschinen im Einsatz“ der Konradin Mediengruppe und des Fraunhofer IPA am 1. Dezember. Mehr dazu unter: www.industrie.de/kuenstliche-intelligenz-2020.

Menschen orientieren sich bei Entscheidungen an den Erfahrungen anderer. Dieses als „Social Proof“ bekannte psychologische Phänomen…