Ob Politiker, Schauspieler oder andere Prominente: Wenn wir sie in Bildern oder Videos sehen, können wir nicht mehr sicher sein, dass diese Aufnahmen echt sind. Denn künstliche Intelligenz kann inzwischen täuschend echte Deepfakes erzeugen. In Videos erscheint dann nicht nur die Person lebensecht, auch ihre Stimme und Sprechweise ahmen die KI-Modelle nach. Viele dieser Deepfakes sind für uns Menschen nicht mehr als solche erkennbar.
Das Problem der Deepfake-Fahnder
Doch nicht nur wir Menschen haben mit solchen Deepfakes Schwierigkeiten: Auch eigens auf solche Fälschungen trainierte KI-Systeme scheitern zunehmend. Einer der Gründe: Beim Training solcher Deepfake-Detektoren ist ein Kompromiss nötig. KI-Modelle, die die typischen Kennzeichen gängiger Deepfakes anhand großer Datensätze lernen, sind zwar sehr treffsicher. Dafür übersehen sie aber oft Fälschungen, deren Merkmale nicht in ihren Trainingsdatensätzen vorkamen.
Die Alternative ist das Training solcher Fake-Detektoren durch selbstüberwachtes Lernen (self-supervised learning). Dabei bekommt die KI ausschließlich echte Videos und soll daraus selbst extrahieren, welche Merkmale solche Originale auszeichnen. „Solche Modelle bieten mehr Potenzial für die generalisierte Erkennung, tun sich aber oft schwer damit, die Unterscheidungsmerkmale allein durch selbstüberachtes Training zu lernen“, erklären Kaede Shiohara von der Universität Tokio und seine Kollegen.
So funktioniert das Training des neuen Deepfake-Detektors
Deshalb haben Shiohara und sein Team nun einen neuen Fake-Video-Detektor entwickelt. Er beruht zwar auch auf selbstüberwachtem Lernen, setzt aber an anderen Erkennungsmerkmalen an: Statt nach Auffälligkeiten auf Pixelebene zu suchen, konzentriert sich das „ExposeAnyone“ getaufte KI-Modell auf die Mimik der dargestellten Person beim Sprechen. „Wir fokusssieren uns auf die Diskrepanzen, die bei echten und gefakten sprechenden Subjekten auftreten“, erklären die Forscher.
Prinzip der Fake-Video-Erkennung: In einem Vortraining lernt die KI anhand von echten Videos Merkmale der Sprachmimik. Im zweiten Schritt wird es auf eine Person trainiert. Deren Fake-Videos erkennt sie dann mit 95-prozentiger Treffsicherheit. — © Shiohara et al./ ExposeAnyone, CC-by 4.0
Grundlage dafür ist ein sogenanntes Diffusionsmodell, das mit mehr als 450 Stunden echtem Videomaterial trainiert wurde. Durch diese Trainingsvideos lernte die KI, welche Gesichtsbewegungen beim Sprechen verschiedener Laute entstehen. Diese typische Mimik wird anhand von 53 verschiedenen Parametern katalogisiert. Am Ende des Trainings kann das KI-Modell anhand der Audiospur vorhersagen, wie sich das Gesicht der sprechenden Person bewegt.
Dann folgt der zweite Schritt: „Wir personalisieren unser KI-Modell nun auf spezifische Personen, damit es ihre individuelle Sprachmimik lernt“, erklären Shiohara und sein Team. Dafür benötigt der Deepfake-Detektor nur rund 60 Minuten echtes Videomaterial der betreffenden Person – beispielsweise eines Politikers oder anderen Prominenten. Damit ist ExposeAnyone bereit für die Fahndung nach Deepfake-Videos dieser Person.
Trefferquote von mehr als 95 Prozent
Wie gut der neue Fake-Video-Detektor funktioniert, haben Shiohara und seine Kollegen mit vier für die Deepfake-Erkennung gängigen Evaluierungs-Datensätzen getestet. Das Ergebnis: ExposeAnyone erreichte eine durchschnittliche Treffergenauigkeit von mehr als 95 Prozent und erkannte selbst Fälschungen, an denen andere Detektoren häufig scheitern. „Unser Ansatz zeigt damit Leistungen, die die bisherigen State-of-the-Art-Methoden signifikant übertreffen“, schreibt das Team.
Sogar die für bisherige Detektoren schwer nachweisbaren Videofälschungen durch Frontier-Modelle wie Sora 2 erkannte ExposeAnyone mit rund 95-prozentiger Trefferquote. Bisherige Deepfake-Detektoren schnitten in diesem Test kaum besser ab als durch Zufall. „Unsere Methode ist zudem hochgradig robust gegenüber absichtlich eingefügten Störungen wie eine hohe Kompression oder Unschärfen“, so die Forscher. „Das unterstreicht die Anwendbarkeit bei Fälschungen unter realen Bedingungen.“
Der Abgleich der Sprachmimik dieses prominenten Schauspielers verrät das gefälschte Video (rot, rechts). — © Shiohara et al./ ExposeAnyone, CC-by 4.0
Neue Generation von Deepfake-Detektoren
Der neue KI-Fake-Detektor ist damit das erste selbstüberwachte Verfahren, das Robustheit und ein breites Erkennungspektrum mit hoher Trefferquote verbindet, wie Shiohara und seine Kollegen berichten. Einen kleinen Haken gibt es allerdings: Das Vortraining von ExposeAnyone ist relativ aufwendig und benötigt aufgrund des eingesetzten Videomaterials leistungsstarke Computerhardware. Zudem muss es immer erst die Mimikeigenheiten der im Video dargestellten Person lernen - in Echtzeit ist das kaum möglich.
Trotz dieser Einschränkungen sehen die Forscher in ihrer Methode aber einen vielversprechenden Weg, um Deepfake-Videos künftig besser zu erkennen. ExposeAnyone könnte die nächste Generation von Deepfake-Detektoren einleiten.
Quelle: Kaede Shiohara Universität Tokio) et al., Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2026; arxiv-Preprint, doi: 10.48550/arXiv.2601.02359
