Bei der Gebärdensprache vermitteln Handgesten, Körperbewegungen und Mimik Bedeutungen, die aneinandergereiht zu Sätzen kombiniert werden. Für viele Menschen mit Hör- oder Sprachbeeinträchtigungen ist die Gebärdensprache das primäre Kommunikationsmittel. „Personen ohne Vorkenntnisse in Gebärdensprache sind jedoch in der Regel nicht in der Lage, diese zu verstehen oder darauf zu reagieren, was im täglichen Umgang mit Gebärdensprachlern zu einer ständigen Kommunikationsbarriere führt“, erklärt ein Team um Jaejin Park von der Yonsei Universität in Seoul in Südkorea. „Zudem werden weltweit mehr als 300 verschiedene Gebärdensprachen verwendet, die sich jeweils aus regionalen und kulturellen Kontexten entwickelt haben. Diese Unterschiede erschweren es Gebärdensprachlern aus verschiedenen Regionen, miteinander zu kommunizieren.“
Übersetzungsgeräte sollen Gebärdensprachlern die Kommunikation erleichtern. Bisherige Systeme beruhen meist entweder auf Kameras, die die Bewegungen aufnehmen, oder auf an den Händen getragenen Sensoren, oft integriert in Handschuhe. Häufig sind diese Geräte jedoch wenig alltagstauglich – etwa, weil die Kameras nur unter bestimmten Beleuchtungsbedingungen zuverlässig funktionieren, die Handschuhe aufwendig individuell angepasst werden müssen oder die Kabel der Sensoren die Bewegungsfreiheit einschränken.
Sensoren an sieben Fingern
Nun haben Park und seine Kollegen ein Übersetzungssystem entwickelt, das bisherige Einschränkungen überwinden soll. Ihr Gebärdensprachen-Übersetzer besteht aus sieben Ringen, die an den Fingern getragen werden und über Sensoren die Beschleunigung der Finger sowie ihre Ausrichtung im Verhältnis zur Schwerkraft messen. Auf diese Weise erkennen die Ringe sowohl dynamische als auch statische Gesten. Per Bluetooth überträgt jeder Ring die Signale drahtlos an ein Gerät, das die Informationen zusammenführt, mit Hilfe künstlicher Intelligenz auswertet und in Wörter und Sätze übersetzt.
Während der Entwicklung des Geräts zeigte sich, dass der rechte Daumen die meisten Informationen vermittelt. Weitere Ringe erfassen die Bewegungen von Zeige-, Mittel- und Ringfinger der rechten Hand sowie Zeige-, Ring- und kleinem Finger der linken Hand. „Durch die unabhängigen, drahtlosen Sensorringe ermöglicht unser System die volle Fingerbeweglichkeit“, erklären die Forschenden. Anders als frühere Geräte muss es nicht individuell angepasst werden. In Tests funktionierte die Erkennung der Handgesten auch zuverlässig bei Personen, die das Gerät nie zuvor genutzt hatten.
Kommunikation in Echtzeit
Trainiert wurde das System auf jeweils hundert Wörter der amerikanischen und der internationalen Gebärdensprache. Diese erkannte es in Tests mit einer Genauigkeit von fast 90 Prozent. Zudem war es in der Lage, aus einer Sequenz der bekannten Wörter Sätze zu rekonstruieren, ohne dass ein separates Training für Satzstrukturen erforderlich war. „Damit ebnet das Gerät den Weg für eine flüssige Gebärdensprachkommunikation in Echtzeit“, schreiben Park und seine Kollegen.
Obwohl die KI-Ringe nur die Fingergesten erfassen und weitere Faktoren wie beispielsweise die Mimik außen vor lassen, könnten sie aus Sicht der Forschenden dazu beitragen, Barrieren in der Kommunikation mit Gebärdensprache abzubauen. „Sie könnten eine nahtlose Interaktion zwischen Gebärdensprachlern und Nicht-Gebärdensprachlern in einer Vielzahl praktischer Kontexte ermöglichen“, so das Team. Auch abseits der Gebärdensprache könnte die Technik zum Einsatz kommen, beispielsweise zur Steuerung von Virtual-Reality-Anwendungen.
Quelle: Jaejin Park (Yonsei University, Seoul, Südkorea) et al., Science Advances, doi: 10.1126/sciadv.aec8995
