Große Sprachmodelle wie ChatGPT kommen in immer größeren Bereichen der Gesellschaft zum Einsatz. Einige Unternehmen nutzen bereits künstliche Intelligenz, um die Social-Media-Profile von Bewerbern automatisiert auszuwerten und deren Eignung für eine Stelle zu beurteilen. Auch für den Gerichtsbereich wird diskutiert, inwieweit große Sprachmodelle dabei helfen können, Beweismittel und Aussagen der Angeklagten zusammenzufassen und zu bewerten.
Rassistische KIs
„Es ist jedoch bekannt, dass diese Sprachmodelle systematische rassistische Vorurteile aufrechterhalten, sodass ihre Urteile über Gruppen wie Afroamerikaner in problematischer Weise verzerrt sind“, schreibt ein Team um Valentin Hofmann vom Allen Institute for AI in Seattle. Gegen offenen Rassismus der Sprachmodelle gehen inzwischen viele Anbieter vor, indem sie zusätzliche Trainingseinheiten mit menschlichem Feedback in den Entwicklungsprozess der KIs einfließen lassen.
Hofmann und sein Team haben sich jedoch auf eine andere, subtilere Art von Rassismus fokussiert: Vorurteile gegenüber bestimmten Dialekten, die typischerweise von Afroamerikanern gesprochen werden. „Bislang war unbekannt, ob sich dieser verdeckte Rassismus in Sprachmodellen manifestiert“, so die Forschenden. Um das zu testen, legten sie zwölf verschiedenen Chatbots – darunter GPT2, GPT3.5, GPT4, RoBERTa und T5 in unterschiedlichen Versionen – jeweils eine Aussage auf Standard American English und auf African American English vor. Ohne weitere Informationen zu geben, baten sie die KI, die Person zu charakterisieren, die eine solche Aussage macht.
Diskrepanz zwischen offenen und versteckten Vorurteilen
Das Ergebnis: Selbst, wenn die Aussagen abgesehen vom unterschiedlichen Dialekt vollkommen identisch waren, ordneten alle getesteten Chatbots der fiktiven Person mit afroamerikanischem Dialekt sehr negative Beschreibungen wie faul, schmutzig und dumm zu. Fiktive Personen, die die gleiche Aussage ohne Dialekt machten, erhielten dagegen Attribute wie intelligent oder brillant. „Unsere Ergebnisse zeigen, dass Sprachmodelle archaische Stereotypen über Menschen mit afroamerikanischem Dialekt aufweisen, die am ehesten mit den negativsten menschlichen Stereotypen über Afroamerikaner übereinstimmen, die jemals experimentell aufgezeichnet wurden und aus der Zeit vor der Bürgerrechtsbewegung stammen“, schreibt das Forschungsteam.
Diese Form der Diskriminierung unterscheidet sich deutlich von den bisher untersuchten und durch gezielte Maßnahmen kontrollierten Vorurteilen in den Ausgaben der KI-Systeme. „Entscheidend ist, dass wir eine Diskrepanz zwischen dem, was die Sprachmodelle offen über Afroamerikaner sagen, und dem, was sie verdeckt mit ihnen assoziieren, beobachten.“ Fragten die Forschenden offen nach Eigenschaften afroamerikanischer Personen, brachten die KI-Modelle fast ausschließlich positive Adjektive hervor, darunter passioniert, musikalisch, intelligent und ambitioniert.
