Wippen statt tippen

ie ist klein, schwarz, kostet 99 Euro – und steht sogar im Guiness-Buch der Rekorde: „Kinect”, die 3D-Kamera von Microsoft. Kein Elektronikprodukt wurde in den ersten drei Monaten nach Erscheinen so oft verkauft: acht Millionen Mal. 2010 kam es als Ergänzung für die Spielekonsole Xbox auf den Markt, damals als Alternative zu den üblichen Steuerungen mit Knaufen und Knöpfen. Die Idee: Allein durch Fuchteln mit den Armen oder Wackeln mit den Hüften sollen Spieler vor dem Bildschirm den Tennisschläger schwingen oder böse außerirdische Kreaturen abschießen.

Das funktionierte so gut, dass Hacker bald nach Erscheinen die Software der Kinect knackten und die Kamera für andere Einsätze zweckentfremdeten. Microsoft erkannte das als Riesenchance: Der Konzern stellte die Software frei ins Internet, wodurch die Zahl der Anwendungen förmlich explodierte. Heute ist Kinect in Forschung, Industrie und Kunst das übliche Werkzeug zur räumlichen Erkennung von Gesten, Körperbewegungen und Gegenständen.

Vier Beispiele von vielen: Siemens übersetzt mit Kinect Bewegungsabläufe von Fabrikarbeitern in eine Software, mit der Ingenieure Arbeitsplätze gestalten. Bei BMW markieren Mitarbeiter in der Endkontrolle Kratzer im Lack, indem sie darauf zeigen. Die US-Weltraumbehörde NASA entwickelt eine Steuerung, mit der sich künftige Marsroboter per Handbewegung von der Erde aus dirigieren lassen. Und die Pariser Balletttruppe „Mr&Mme rêve” (übersetzt etwa „Herr und Frau Traum”) hat gemeinsam mit dem Softwarekonzern Dassault Systèmes eine Performance aufgeführt, in der die Tänzer spektakuläre Videoprojektionen mit ihren Bewegungen dirigieren. Daneben gibt es Hunderte teils recht skurrile Anwendungen – zum Beispiel eine virtuelle Handpuppe, bei der die Hand eine Puppe auf dem Bildschirm bewegt, oder ein „ Nippelerkenner”, der nackte Brüste vor der Kamera aufspürt und auf dem Bildschirm mit bunten Sternen kaschiert.

Gestensteuerung wird bezahlbar

Anfang 2012 hat Microsoft Kinect für Windows gestartet. Das soll Programmierer dazu animieren, die Kamera für ganz neue Produkte zu verwenden. Der Software-Riese aus Redmond förderte elf Unternehmen mit vielversprechenden Ideen, darunter die Münchner Firma Übi. Sie verwandelt das Bild, das ein Video-Beamer an die Wand wirft, in einen Touchscreen. Berührt man das Bild an der Wand, erkennt Kinect das als Mausklick. Versuche, Gesten zum Bedienen von Computern zu verwenden, gab es schon. Doch erst Kinect macht die Gestensteuerung erschwinglich.

Dass Technologien über den Umweg der Spielekonsole in „ ernsthaften” Anwendungen Einzug halten, kommt immer wieder vor. Der Massenmarkt der Spiele macht die Hardware billig, außerdem eignen sich Konsolen dazu, neue Bedienkonzepte auszuprobieren, die auch am Fernseher funktionieren, wo es keine Maus zur Steuerung gibt.

Von dieser Initialzündung profitieren auch andere Unternehmen – sogar solche, die Kinect gar nicht benutzen. „Zu groß, zu ungenau, zu stromhungrig”, findet Moritz von Grotthuss von der Lübecker Firma Gestigon das Microsoft-Produkt. Gestigon, gegründet von Wissenschaftlern der Universität Lübeck, entwickelt sogenannte Middleware. Das ist die Software, die in den Rohdaten – egal von welcher Kamera – etwa Hand- oder Armbewegungen erkennt und an sogenannte Apps übergibt, Anwendungsprogramme auf einem PC oder Tablet. Bisher musste jeder Entwickler einer Anwendungssoftware diese Übersetzung selbst besorgen.

Die Ursprünge des Lübecker Startups liegen in der Medizin. Die Gestensteuerung sollte Chirurgen helfen, im Operationssaal Röntgenbilder umzublättern – nur mit einem Wisch in der Luft und ohne den unhygienischen Bildschirm zu berühren. Von diesem Ziel hat sich Gestigon weitgehend verabschiedet. Die Zulassungsprozeduren sind zu langwierig. „Wir müssen schließlich irgendwann Geld verdienen”, sagt Grotthuss. Forscher bei Siemens in Forchheim tüfteln dagegen weiter an einer Technologie, mit der sich medizinische Bilder während einer Operation per Handbewegung durchblättern lassen.

Gestigon zielt inzwischen auf tiefer hängende Früchte wie die Gestensteuerung von Windows, für das Programmierer in aller Welt Software zum Arbeiten, Kommunizieren oder Spielen schreiben. Die Gestigon-Middleware erkennt in den Rohdaten der 3D-Kameras zunächst Topologien, also ob sich eine Person vor der Kamera befindet und mit den Händen wedelt oder ob bloß der Hund der Familie durchs Bild läuft. Diesem Objekt überlagert die Software ein Skelettmodell. Hände markiert sie mit 37 Knotenpunkten, deren Bewegung sie verfolgt. Etwa alle 40 Millisekunden liefert die Kamera ein Bild. Dann dauert es nur vier weitere Millisekunden, bis das Skelettmodell errechnet und die Bewegung erkannt ist. Zum Vergleich: Ein Augenzwinkern braucht über 100 Millisekunden. Diese Bewegungsdaten übergibt die Gestigon-Middleware an die Anwendungssoft-ware. Der Software-Entwickler kann der Geste die passende Aktion zuordnen, also etwa einer Handbewegung von links nach rechts das Wechseln des Bildes in einer Diashow.

Das Alleinstellungsmerkmal der Lübecker Firma ist der geringe Hunger nach Rechenleistung. Die Software ist so genügsam, dass sie auch auf Smartphones laufen kann. Dort und in jedem PC oder Tablet wird es künftig einen kleinen Mikrochip geben, der eigens für die Gestensteuerung zuständig ist – wie das heute schon zur Steuerung mit der Maus der Fall ist. Erste Ideen, was man damit machen kann, hat Samsung bereits in sein neuestes Galaxy-Smartphone eingebaut – allerdings ohne Unterstützung von Gestigon. Die Kamera erkennt an den Augen, ob der Nutzer gerade auf den Bildschirm schaut. Durch Augenrollen kann er sogar Seiten umblättern. Damit ein Smartphone größere Gesten erkennen kann, braucht es aber eine 3D-Kamera, die dreidimensionale Bilder liefert – also eine Kinect im Miniaturformat.

Die heißt CamBoard Pico und stammt von Pmdtechnologies, einem Unternehmen in Siegen, mit dem auch die Gestigon-Entwickler zusammenarbeiten. Pico macht ihrem Namen alle Ehre: Sie ist kleiner als ein Kinder- Schokoriegel und passt problemlos in den Bildschirm eines Laptops. „Das wird einen großen Unterschied machen”, verspricht Moritz von Grotthuss. Denn die Kamera und der Computer sind dann eine Einheit und lassen sich aufeinander kalibrieren. Das macht die Gestenerkennung millimetergenau, Piktogramme auf dem Bildschirm lassen sich dann auch aus größerer Entfernung präzise bewegen. Dabei werden die Nutzer ähnliche Gesten verwenden wie sie Apple für berührungsempfindliche Bildschirme etabliert hat – etwa die Fingergrätsche von Daumen und Zeigefinger, die Bilder größer oder kleiner zoomt. In einer kommenden Generation soll die Pico-Kamera in Tablets und Mobiltelefonen Einzug halten.

Umblättern mit Teig am Finger

Microsoft hat noch keine Mini-Kinect im Angebot und auch nichts dergleichen angekündigt. Über Anwendungen denkt das Unternehmen trotzdem schon nach. So beherrscht eine Kochrezepte-App für Tablets mit dem neuen Windows 8.1 den freihändigen Bedienmodus. Hat man Kuchenteig an den Fingern, braucht man den Bildschirm nicht zu berühren, um die Seite umzublättern, sondern man macht einfach eine Wischgeste in die Luft.

„Das ist als Ergänzung gedacht, dort wo es Sinn macht, nicht als Ersatz für Maus und Touchscreen”, sagt Gunter Logemann von Microsoft, der die Berufsbezeichnung „Technologie-Evangelist” führt, womit eine intensive Vortragstätigkeit auf Konferenzen und internen Meetings zu Kinect-Themen verbunden ist. Die Einführung von Gestensteuerung „mit Gewalt”, etwa zur Bedienung des Fernsehers, sieht er kritisch. Auch die Arbeit an Excel-Tabellen oder Word-Texten am PC mit Handgesten sei nicht sinnvoll.

Einen Schub soll die neue Kinect bringen, die im August 2013 zusammen mit der ebenfalls neuen Spielekonsole Xbox One vorgestellt wurde. Sie erkennt sechs Personen – statt bisher zwei – und hat eine viermal so hohe Bildauflösung. Sie arbeitet mit einem Infrarot-Leuchtpunkt, der blitzschnell den ganzen Raum abtastet. Objekte reflektieren das Licht, und aus der Zeit, die das Licht hin und zurück braucht, errechnet die Kamera-Software den Abstand. Die alte Kinect arbeitet mit einem unsichtbaren Lichtnetz im Raum. Dreidimensionale Objekte verzerren dieses Netz, woraus die Infrarotkamera die Lage im Raum und die Bewegung dieser Objekte erkennt. Allerdings funktioniert dieses Prinzip nicht im Freien, weil die Wärme-strahlen der Sonne das Lichtnetz der Infrarot-Leuchtdioden überdecken.

Das stört zum Beispiel die Wissenschaftler des Fraunhofer-Instituts für Kommunikation, Informationsverarbeitung und Ergonomie FKIE in Wachtberg bei Bonn. Sie entwickeln für die Bundeswehr Roboter, die autonom durchs Gelände fahren und Ausrüstung schleppen. Für den Einsatz in Gebäuden haben die FKIE-Forscher auch die Kinect-Kamera auf ihren Robotern ausprobiert. Im Gelände geht es dagegen nicht ohne die viel teureren Laserscanner – oder vielleicht die neue Version der Kinect, wenn sie sich bewährt.

Doch bei Entfernungen deutlich unter einem Meter ist auch die neue Kinect nicht besonders genau. Anders Cam- Board Pico von Pmdtechnologies: Die 3D-Kamera arbeitet mit einer Infrarot-LED, die den Raum beleuchtet, misst aber für jeden Bildpunkt des Kamera-Sensors die Distanz zu Objekten direkt auf dem Sensorchip. Diese patentierte Technologie funktioniert auch schon in einigen Zentimetern Abstand und eignet sich beispielsweise für die Gestensteuerung direkt vor dem Bildschirm. Bei Pmdtechnologies rechnet man ab 2014 mit einer deutlich steigenden Nachfrage für solche 3D-Kameras in Laptops.

Auch Deutschlands Leitbranche Nummer eins, die Automobilindustrie, interessiert sich für die Gestensteuerung. Ihr sind alle Bedienmöglichkeiten hoch willkommen, bei denen der Fahrer die Hände am Lenkrad lassen kann und nicht in der Mittelkonsole im Knöpfchensalat stochern muss. Noch gibt es kein serienreifes Produkt, aber was Forscher bei Audi als Prototyp entwickelt haben, ist schon nah dran: ein Testcockpit mit „ Headmounted Display”, also einer Anzeige, die in die Windschutzscheibe gespiegelt wird. Kleines Fingerwackeln – die Handflächen bleiben am Steuer – genügt, um die Informationen in der Anzeige durchzublättern.

Technologisch an vorderster Front ist die Werbebranche. Dort hofft man auf interaktive Präsentationen, die sich aus der Ferne, etwa durch eine Glasscheibe, steuern lassen. Heute wird das mit berührungsempfindlichen Aufklebern auf der Scheibe versucht, doch die sind nicht immer zuverlässig und obendrein unhygienisch. Die Gestensteuerung braucht weder Installation noch Desinfektion. Xaa-Media in Cottbus hat mit der Software von Gestigon ein interaktives Plakat entwickelt, das auf den lukrativen Markt für Schaufensterwerbung zielt. Läuft ein Passant vorbei, lockt das Plakat mit einem Clip, der kurz die simple Gestensteuerung erläutert: Hoch und runter, links und rechts wischen, Fingerschnippen für die Enter-Taste und Fingerspreizen zum Zoomen. „Das verstehen sogar Kinder”, verspricht Geschäftsführer Mathias Jatzlauk.

Dann kann der Betrachter losfuchteln und zum Beispiel das Immobilienangebot von Maklern durchstöbern. Auf diese Anwendung gibt es im Moment einen Run. Die Ostsächsische Sparkasse testet sie für ihre Filialen, damit potenzielle Käufer auch außerhalb der Öffnungszeiten nach Immobilien suchen können. Andere Sparkassen und Makler ziehen nach.

Mit der Nachfrage nach Kinect und Gestensteuerung ist auch das Interesse der Forscher an der Gestenkommunikation gestiegen. Wie Menschen Gesten einsetzen ist weniger erforscht als etwa der Gebrauch der Sprache. Irene Mittelberg will das ändern. Die Professorin für Sprachwissenschaft und kognitive Semiotik und Spezialistin für Gestenforschung an der RWTH Aachen untersucht, wann, wie und warum wir Gesten einsetzen. 1200 Gesten von Testpersonen hat ihr Team im Gestenlabor des Aachener Human Technology Centre dokumentiert.

Apfel teilen per Karateschlag

Zum Beispiel diese: Stellen Sie sich vor, auf einem Teller liegt ein Apfel. Machen Sie eine Geste, wie Sie ihn zerschneiden würden. Halten Sie dabei ein fiktives Messer in der Hand? Dann sind Sie in bester Gesellschaft, denn fast alle Menschen gestikulieren so, als hätten sie das entsprechende Werkzeug in der Hand.

„Auf die Idee, die Hand selbst als Messer zu interpretieren und den Apfel wie bei einem Karateschlag zu zerteilen, kommt fast niemand”, sagt Irene Mittelberg. Ohne die Sprache dazu ist die Geste mit dem fiktiven Messer mehrdeutig, besonders für einen Computer. Der erkennt nur eine Faust, die sich hin und her bewegt. Doch mehrdeutige Gesten lassen sich nicht zum Steuern einer Software nutzen. Die Geste des Apfelspaltens war etwa dafür gedacht, den Cut-Befehl zu ersetzen, mit dem man Wörter in einem Text ausschneidet.

„Da müssen wir uns eindeutigere Gesten überlegen”, sagt Mittelberg. Ihre Expertise ist immer häufiger gewünscht, zum Beispiel auf Konferenzen zur Mensch-Maschine-Interaktion. Die Computerwissenschaftler wollen wissen, wie sie Gesten für die Bedienung von Computern oder Maschinen nutzen können. Die ersten simplen Gesten für Touchscreens hat uns Apple mit der Einführung von iPhone und iPad beigebracht. Jedes Kind weiß inzwischen, wie man ein Bild mit zwei Fingern größer zoomt. Aber welche Gesten erweisen sich als intuitiv und effizient, wenn die Aktion komplizierter wird?

Simon Harrison, bis vor Kurzem in Mittelbergs Team und nun Professor an der University of Nottingham, hat in einer Fischfabrik die spontanen Hand- und Armbewegungen untersucht, mit denen sich die Mitarbeiter Hinweise geben – etwa, wenn das Band zu schnell läuft und Fischstücke herunterzufallen drohen. In der Fabrik im Elsass ist es laut, die Mitarbeiter tragen Mundschutz und sprechen zum Teil Deutsch, zum Teil Französisch. Harrison hat einen maßgeschneiderten Gestencode erarbeitet, mit dem sich die Arbeiter besser verständigen können.

Mit der Kinect-Kamera arbeitet das Aachener Team nicht, für die Feinheiten der Forschung ist sie zu ungenau. Das Labor hat stattdessen ein digitales Bewegungserkennungssystem, bei dem Infrarot- und Hochgeschwindigkeitskameras reflektierende Punkte erfassen, die auf Hände, Arme und Kopf geklebt werden. Damit untersucht das Team, wie Personen den Gestenraum nutzen und wo die Hände sind, wenn eine Geste eine bestimmte Aussage untermalt. Die Bewegungsmuster liefern nützliche Hinweise für Computerexperten – etwa, dass Menschen bei der Gestensteuerung eines PC weiter ausgreifende und deutlichere Gesten machen, um dem Rechner die Arbeit zu erleichtern.

Früher dachte man: Eine Geste hilft nur, die richtigen Worte zu finden. Neurowissenschaftler wissen heute, dass Gesten eine wichtige Form der Artikulation sind. Menschen mit Sprachdefiziten haben meist auch ein Defizit bei den Gesten. Das kann man bei der Therapie berücksichtigen. Statt bei Menschen mit Sprachdefizit nur die Sprache zu trainieren, übt man mit ihnen auch Gesten – und erzielt dabei erstaunliche Fortschritte.

Die Lieblingstasse vor der Kamera

Die Verknüpfung zwischen Gehirn, Sprache und Gesten möchte Irene Mittelberg in einem Projekt untersuchen, das sich mit Lieblingsobjekten ihrer Mitmenschen beschäftigt. Das kann eine Teetasse sein oder das iPhone. Die Forschungsfrage: Wie beeinflusst ein Objekt mit persönlicher Bedeutung das menschliche Denken sowie die Handhabung dieses Objekts und die Art, wie sein Eigner darüber spricht?

Die Professorin hat sich gemeinsam mit Forscherkollegen aus der Neurologie und bildnerischen Gestaltung einen cleveren Versuchsaufbau ausgedacht: Über einen Aufruf in den Medien will sie Freiwillige dazu bringen, vor der Kamera ihr Lieblingsobjekt vorzustellen und das Video einzuschicken. Die interessantesten Objekte und besten Geschichten werden dann in eine Kunstausstellung aufgenommen. Die Wissenschaftler interessiert dabei, wie die Probanden ihre Lieblingsobjekte beschreiben – vor allem, welche Gesten sie verwenden und ob das besondere Verhältnis zu diesen Dingen in den Gesten mitschwingt.

Damit will das Aachener Forscherteam die These prüfen, ob man ein Lieblingsobjekt anders in die Hand nimmt als neutrale Gegenstände. „Menschen bauen zu Lieblingsobjekten eine Beziehung auf wie zu anderen Menschen, inklusive sozialer Bindung und Empathie”, vermutet Irene Mittelberg. Das iPhone als Ersatz für echte Freunde? Apple-Kritiker haben das schon lange geahnt. •

BERND MÜLLER, ehemaliger bdw-Redakteur und jetzt freier Technik- und Wissenschaftsjournalist in Bonn, bedient seinen PC neuerdings durch Fingertippen. Die Gestensteuerung findet er zwar pfiffig, aber sie erscheint ihm noch nicht ausgereift genug.

von Bernd Müller