Bloß keine Vorurteile! - wissenschaft.de | Bild der Wissenschaft
BDW PlusTechnik & Digitales
Bloß keine Vorurteile!
Vor ein paar Jahren in Coral Springs, Florida/USA: Eine 18-Jährige fürchtet zu spät zu einem Termin zu kommen und versucht deshalb ein Fahrrad zu stehlen. Sie wird ertappt und verhaftet. Einige Monate zuvor nimmt die Polizei einen 41-jährigen Mann nach einem Ladendiebstahl fest. Die Entscheidung über Haftdauer und…
Sie haben noch 2 von 3 kostenlosen Artikeln übrig1/3
von KLAUS WAGNER
Vor ein paar Jahren in Coral Springs, Florida/USA: Eine 18-Jährige fürchtet zu spät zu einem Termin zu kommen und versucht deshalb ein Fahrrad zu stehlen. Sie wird ertappt und verhaftet. Einige Monate zuvor nimmt die Polizei einen 41-jährigen Mann nach einem Ladendiebstahl fest. Die Entscheidung über Haftdauer und anschließende Bewährungsauflagen erfolgt aufgrund der Einschätzung des jeweiligen Rückfallrisikos.
Der Frau, von schwarzer Hautfarbe und wegen einiger Bagatelldelikte in ihrer Jugend polizeilich bekannt, wird ein hohes Rückfallrisiko attestiert. Dem Mann, einem mehrfach wegen bewaffneter Raubüberfälle vorbestraften Weißen, der bereits fünf Jahre im Gefängnis saß, bescheinigt man dagegen eine geringe Rückfallgefahr. Die junge Frau begeht in den zwei Jahren nach der Haftentlassung kein weiteres Verbrechen. Der Mann dagegen bricht in ein Lagerhaus ein, entwendet Elektronik im Wert von mehreren Tausend Dollar und muss für weitere acht Jahre ins Gefängnis.
Die amerikanische Journalistenvereinigung ProPublica veröffentlichte die beiden Fälle als typisches Beispiel von Rassendiskriminierung und daraus folgender Benachteiligung. Ein Umstand ist dabei besonders hervorzuheben: Die Bewertung der Risiken erfolgte automatisiert durch KI-Software, die Korrelationen in Daten aufspürt. Was war falsch gelaufen? Die KI hat im Prinzip richtig funktioniert. Doch wenn die Justiz Schwarze benachteiligt, spiegelt sich diese Diskriminierung in den statistischen Daten wider, mit denen die KI-Software trainiert wird. Sie „lernt“ zu diskriminieren.
Die offensichtlichen Fehleinschätzungen führten einerseits zu weiteren Forschungen. Dabei konnten Wissenschaftler der Universitäten in Stanford und Berkeley die Vorhersagegenauigkeit der Bewertungs-Software auf nahezu 90 Prozent und damit weit über das Maß menschlicher Einschätzungen steigern. Die verbleibenden zehn Prozent stellen allerdings immer noch eine sehr hohe Fehlerquote dar.
„Andererseits lösten sie auch intensive Diskussionen darüber aus, nach welchen ethischen Gesichtspunkten KI-Anwendungen grundsätzlich gestaltet sein sollen“, sagt Christoph Lütge, Professor für Wirtschaftsethik und Direktor des Instituts für Ethik in der KI (IEAI) der Technischen Universität München.
Im kalifornischen Santa Cruz führte die öffentliche Debatte vergangenes Jahr zum Verbot des „predictive policing“, der polizeilichen Risikobewertung, und mehrere amerikanische Städte untersagten die automatisierte Gesichtserkennung, da sie abhängig von der Hautfarbe oft falsche Ergebnisse lieferte.
In Deutschland wird die Gesichtserkennung an öffentlichen Plätzen, sowie die KI-gestützte Vorhersage von Einbrüchen zwar erprobt, aber es ist verboten, Gerichtsurteile basierend auf Ergebnissen von KI zu fällen. Doch die Gefahr von Diskriminierung besteht auch hierzulande, denn generell birgt der Umgang mit großen Datenmengen und KI – Stichwort Big Data –, der dem „predictive policing“ zugrunde liegt, einige Risiken.
Mehr aus Technik & Digitales
Weitere aktuelle Artikel aus der Rubrik Technik & Digitales.
„Warum verdient meine Kollegin mehr als ich?“, „Warum wurde ich nicht befördert?“, „Warum wurde meine Bewerbung abgelehnt?“ Eine Antwort auf solche Fragen erhalten Angestellte oder abgelehnte Bewerber selten. Fest steht aber, dass den Entscheidungen immer auch subjektive Einschätzungen zugrunde liegen.
KI-Anwendungen sollen deshalb in Personalabteilungen künftig nicht nur das Bewerbungsmanagement durch automatisiert geführte Interviews oder das maschinelle Auswerten von Lebensläufen – ebenfalls eine Big-Data-Anwen-dung – beschleunigen. Das Ziel ist auch, mehr Objektivität, Fairness und Chancengleichheit zu schaffen. Viele der weltweit größten Unternehmen testen solche Anwendungen bereits, und es ist abzusehen, dass sich hier ein lukrativer Markt für Dienstleister auftut, die unter anderem durch den Einsatz von KI Stellenausschreibungen optimieren. Etwa durch Verwenden geschlechtsneutraler Formulierungen, damit sich Frauen und Männer gleichermaßen angesprochen fühlen.
Doch Skepsis ist hier ebenfalls angebracht, denn auch im KI-gestützten Personalmanagement ist Diskriminierung ein bekanntes Problem, und wieder spielen die Trainingsdaten eine große Rolle. So entwickelte etwa Amazon ein KI-System zur Analyse von Hunderten Lebensläufen, um die geeignetsten Bewerber herauszufinden. Als Trainingsdaten für die KI dienten Lebensläufe, die das Unternehmen in den letzten zehn Jahren erreichten. Doch da es sich hierbei überwiegend um männliche Bewerber handelte, übernahm die KI dies als Auswahlkriterium – mit dem Ergebnis, dass Frauen benachteiligt wurden. Der Konzern entschied, die Software nicht mehr einzusetzen.
Der Weg zu „fairen“ KI-Anwendungen führt für den Wissenschaftler Lionel Robert von der School of Information der University of Michigan über kritisch durchgeführte Simulationen, den Vergleich von erwarteten und erhaltenen Ergebnissen und die Verwendung sorgfältig geprüfter Trainingsdaten. Allerdings schränkt er ein: „In unserem Denken unterliegen wir verborgenen subjektiven Einstellungen, und die wirken sich auf die Zusammenstellung dieser Daten und damit auch auf die KI-Anwendungen aus.“ Noch sei diese Subjektivität, die sich auch im mathematischen Design der Applikationen niederschlägt, nicht genügend erforscht, bemängelt der Forscher.
Leistung am Arbeitsplatz erfassen
In Bezug auf leistungsgerechte Entlohnung erscheint der Einsatz von KI auf den ersten Blick nützlich und wenig bedenklich. Beim genauen Hinsehen stößt man allerdings auch hier auf einige Probleme, auch ethische. Unbedenklich scheint, geleistete Arbeit durch das Erfassen und Auswerten von Daten zu quantifizieren, wie beim Zusammenstellen von Waren für den Versand. Wobei Leistungsmessungen durch Quantifizierung nicht neu sind. „In Autowerkstätten überprüfen Vorgesetzte seit Jahren die Einhaltung vorgesehener Zeiten für bestimmte Arbeitsschritte“, nennt Robert ein Beispiel. „Eine permanente Überwachung durch KI kann dagegen problematisch sein“, erklärt er. Etwa wenn in Betrieben mit befristeten Arbeitsverträgen aus kontinuierlich gesammelten Daten Leistungsprofile erstellt und als Druckmittel zur Leistungssteigerung missbraucht werden. Unternehmen müssten sich in einem solchen Fall dem Vorwurf stellen, ein Klima der Angst zu erzeugen.
Eine faire Bezahlung zu gewährleisten, gestaltet sich noch schwieriger, wenn es um qualitative Aspekte der Arbeit geht. So mag eine Managemententscheidung schwer oder leicht zu treffen gewesen sein. Aber wie sind „schwer“ und „leicht“ bewertbar? „Denkbar ist es, zukünftig Telefongespräche und Mails mit KI auszuwerten und dann zu prüfen, welche Probleme aufgetreten sind“, sagt Robert. Ob jedoch alle Manager einer solch weitgehenden Offenlegung ihrer Aktivitäten zustimmen, ist fraglich.
Weit zurückreichende Datenerfassung
In der oft mangelnden Transparenz von Entscheidungen auf der Basis von KI-Bewertungen sieht Katharina Simbeck eines der größten Anwendungsprobleme. „Sehr große Unternehmen verfügen über breitgefächerte Fortbildungsangebote, die dem Personal über Suchmaschinen angezeigt werden“, nennt die Professorin für Betriebswirtschaftslehre und Controlling von der Hochschule für Technik und Wirtschaft in Berlin ein Beispiel. Erzeugt System 1 aufgrund von Mitarbeiterdaten ein personalisiertes Auswahlangebot von Fortbildungen und schließt dabei manche Kurse aus, so kann dies zu Nachteilen führen, wenn System 2 genau solch einen Kurs als Bedingung für einen Beförderungsvorschlag wertet. Dass System 1 einen solchen Zusammenhang berücksichtigt, muss sichergestellt sein.
Faire Entscheidungen auf Basis von KI setzen voraus, dass die Datenauswahl für die Profilbildung von Mitarbeitern durchdacht ist. „Die Daten müssen nicht nur fortlaufend die kontinuierliche Weiterentwicklung eines Mitarbeiters erfassen, sondern auch weit genug in die Vergangenheit reichen, um seinem bisherigen Engagement gerecht zu werden“, erklärt Simbeck. Aus ethischen Gründen sei die Anwendung von KI auch dann auszuschließen, wenn KI-basierte Entscheidungen getroffen werden, ohne dass die Betroffenen dazu Stellung nehmen können, oder wenn Daten ohne deren Wissen verwendet werden.
Big Data und KI im Alltag
Und wie sieht es mit der Sammlung und Nutzung von Daten im privaten Lebensbereich aus? Der Grundgedanke von Big Data ist relativ einfach. Zum Beispiel: Man sammle von den Mitgliedern einer Population möglichst viele Daten, um Anhaltspunkte für Lebensgewohnheiten zu finden. Wofür interessieren sich die Menschen, und wo halten sie sich gerne auf? Wie konsumwillig und zahlungsbereit sind sie? Welcher Käufer- und sozialen Schicht gehören sie an, und wo wohnen sie? Je mehr verschiedene Datentypen gesammelt werden, umso genauer sind die Menschen digital identifizierbar.
„Nicht nur das Grundrecht auf Privatsphäre und weitere Persönlichkeitsrechte können in Gefahr geraten“, sagt Christian Hauser, Professor für Allgemeine Betriebswirtschaftslehre und Internationales Management an der Fachhochschule Graubünden in Chur. Das Zusammenführen von Daten aus verschiedenen Zusammenhängen kann zur Verletzung der „kontextualen Integrität“ führen. Ein Beispiel: Wohnen Sie in einem weniger wohlhabenden Stadtbezirk? Vertippen Sie sich häufig beim Schreiben Ihrer privaten Mails, und kaufen Sie hin und wieder eine Flasche Whiskey? Dann könnte Ihre Kreditwürdigkeit leiden. Dabei legen Sie einfach keinen Wert auf ein luxuriöses Wohnumfeld, sind abends bloß todmüde, wenn Sie ihre privaten Mails schreiben. Und Hochprozentiges verschenken Sie gerne an Freunde.
Die Wahrung ihres Grundrechts über die Preisgabe und Verwendung personenbezogener Daten wird für die meisten Menschen immer schwieriger. Wenn man beim Surfen auf der x-ten Internetseite angelangt ist, wirken die farbigen Knöpfe, mit denen man alle Cookie-Einstellungen akzeptiert, sehr verlockend. Und wer denkt schon daran, dass die App für die Taschenlampenfunktion des Smartphones auch Geodaten sammeln kann. „Natürlich beruht die Nutzung von Internetdiensten auf freiwilliger Basis. Aber nur auf die digitale Kompetenz der Kunden zu hoffen, greift zu kurz“, ist Hauser überzeugt. Dafür seien die Zugriffswege auf Daten häufig zu wenig durchschaubar. Und nicht jeder nimmt sich die Zeit zu erforschen, wie sich ein einmal gegebenes Einverständnis zur Datennutzung widerrufen lässt. Auch der Gesetzgeber sei hier gefordert, meint der Forscher und erklärt: „Es geht nicht darum, die Datentechnologie zu verteufeln.“ Dennoch sei eine heikle Situation entstanden. Reagiert der Gesetzgeber zu restriktiv, wird das der Innovationskraft der Wirtschaft schaden, die auch davon abhängt, große Datenmengen analysieren zu können. Schwindet das Vertrauen der Bevölkerung in den Umgang mit den Daten, sinkt deren Bereitschaft, diese preiszugeben. Hausers Vision besteht darin, dass Unternehmen, neben der Wirtschaftlichkeit einer datengetriebenen Entwicklung, auch ethische Aspekte der Datennutzung für Marktforschung und Vertrieb berücksichtigen.
KI ist kein einfaches Geschäft
Was in Zusammenhang mit Big Data oft vergessen wird, ist, dass diese Technologie vielseitige Kompetenzen erfordert; auch das ist ein wichtiger Punkt in der ethischen Diskussion. „Die Industrie hat einen enormen Hype um die Technologie angefacht. Und das vereinfachte und beliebig anmutende Bild, man nehme viele Daten, lasse diese von einem Algorithmus verarbeiten, der dann Muster in den Daten erkennt, entspricht auch häufig der Praxis“, erläutert Dirk Neumann, Lehrstuhlinhaber für Wirtschaftsinformatik der Universität Freiburg. Mit der Folge, dass Ergebnisse oft wenig aussagekräftig oder gar irreführend sind.
Big Data bedeutet nämlich nicht nur, große Datenmengen möglichst schnell zu verarbeiten, sondern auch statistische Unsicherheiten in Daten zu erkennen und verschiedene Datentypen zu kombinieren. Aus dem Repertoire diverser Methoden, wie verschiedene Typen neuronaler Netze und deren Kombination, gilt es die jeweils optimale auszuwählen. Und auch über die Methode des maschinellen Lernens ist sorgfältig zu entscheiden. Standardisierte Prozessmodelle entsprechen hier den in anderen Bereichen üblichen ethischen Leitfäden. Und was nicht vergessen werden darf: „Datenwissenschaftler sind hier vonnöten. Aber die müssen erst noch ausgebildet werden“, stellt Neumann fest.
KI auf Basis ethischer Prinzipien
Eine theoretische Grundlage für eine „Good AI Society“ – eine „gute KI für die Gesellschaft“ – wurde von der wissenschaftlichen Initiative AI4People erarbeitet, die vom Philosophen Luciano Floridi von der Oxford University geleitet wird und der auch Lütge angehört.
„Sie bezieht sich im Wesentlichen auf die Bioethik mit ihren vier Kernprinzipien: Fürsorge für die Menschen und ihren Planeten, Vermeidung von Schäden, Autonomie und Gerechtigkeit“, erklärt Floridi. Nicht in der Bioethik verankert ist das ergänzende fünfte Prinzip. Dieses, als Erklärbarkeit bezeichnet, bezieht sich darauf, wie die KI funktioniert und wer für diese verantwortlich ist.
Im Zusammenhang damit wird häufig der Begriff „Black Box“ verwendet. Damit ist gemeint, dass die mathematischen KI-Monster mit mehreren Hundert bis vielen Millionen Parametern viel zu kompliziert sind, um genau sagen zu können, wo gegebenenfalls ein Fehler liegt. „Viele Philosophen und Juristen kennen sich nicht hinreichend mit KI aus, um einschätzen zu können, wie wenig sinnvoll die Forderung ist, jeden einzelnen Schritt nachvollziehen zu können“, sagt Lütge, der auch Wirtschaftsinformatiker ist und ebenso wie Floridi zu den Insidern in Sachen technischer Hintergründe von KI gehört. Die Black Box ist für ihn kein fundamentales Problem, denn viele komplexe technische Systeme seien nicht vollständig kontrollierbar. Es bleibe immer ein Restrisiko, dem man durch geeignetes Management begegnen müsse, etwa durch regelmäßige und in kurzen Zeitabständen durchgeführte Validierungen. Und Floridi vergleicht: „Wir buchen ja auch Flugreisen und haben keine Ahnung, wie man ein Flugzeug fliegt.“
Hundert Prozent Verantwortung
Äußerungen wie „Daran ist unser Datenverarbeitungssystem schuld“ werden zukünftig wahrscheinlich ergänzt durch Sätze wie „Dafür ist die KI zu blöd“. Neben möglichen technischen Problemen könnte hinter solchen Äußerungen stehen, dass viele Menschen lieber Verantwortung delegieren als diese selbst zu tragen. Jedoch: „Für die KI gilt wie für jede andere Technologie, dass die Verantwortung für Fehler letztlich in den Händen von Menschen liegt. Zu hundert Prozent“, sagt Floridi. Das gilt auch für Entscheidungen, die auf der Grundlage von KI-Berechnungen getroffen werden.
Entscheidend für den Erfolg von KI wird sein, begründetes Vertrauen in die Entwicklungen und Anwendungen der Technologie zu schaffen. Hierfür hat die „Hochrangige Expertengruppe für künstliche Intelligenz“ 2019 die „Ethik-Leitlinien für eine vertrauenswürdige KI“ herausgegeben. Branchenspezifische Orientierungshilfen gibt es mittlerweile sehr viele, auch für Anwendungen in Personalabteilungen.
Welche Einstellung wir zu KI haben, wird sich mit der Zeit und aus der Abwägung von positiven und negativen Effekten ergeben. „Wenn wir KI nicht in ausgewogenem Maß einsetzen, kann uns das viel kosten“, sagt Floridi. Machen wir zu wenig Gebrauch von KI, nutzen wir deren Potenzial nicht. Und setzen wir zu viel davon ein, besteht die Gefahr, dass menschliche Fähigkeiten entwertet werden und die Selbstbestimmung des Menschen abnimmt.
Menschen orientieren sich bei Entscheidungen an den Erfahrungen anderer. Dieses als „Social Proof“ bekannte psychologische Phänomen…
Technik & Digitales
Künstliche Intelligenz: Umwelt-Fußabdruck größer als gedacht?
3. Juni 2026
Der KI-Boom bringt immer leistungsstärkere KI-Modelle hervor, immer mehr Menschen nutzen die Technologie. Einem neuen Bericht zufolge…
BDW PlusTechnik & Digitales
Wie Roboter für das Leben lernen
2. Juni 2026
Damit Roboter sinnvoll handeln können, reicht es nicht, Texte und Bilder aus dem Internet zu nutzen. KI-Roboter brauchen außerdem perfekte…