Alles im Griff

Hände werden versetzt

Doch für die perfekte Illusion eines virtuellen Gegenstands muss sich ein realer Gegenstand nicht nur ähnlich anfühlen. Simulierter und realer Gegenstand müssen sich auch an derselben Stelle befinden, um danach greifen zu können. In der Praxis lässt sich das nicht umsetzen, ohne viele Vorteile der Virtualität zu verschenken. Zum Beispiel wäre es hilfreich, nur ein einziges reales Objekt zu verwenden, um gleich mehrere virtuelle Objekte in einer virtuellen Umgebung zu simulieren. „2009 wurde deshalb das Konzept der Handumlenkung erstmals vorgestellt, das wir in unserem bald endenden Forschungsprojekt genauer ausgelotet haben“, erklärt Zenner. Das auf drei Jahre angelegte Projekt trägt das Kürzel VHIVE (Visual-Haptic Perceptual Illusions for Hand-Based Interaction in Virtual Environments) und läuft noch bis September. Projektbeteiligte waren neben dem UMTL eine Arbeitsgruppe um den Informatiker Frank Steinicke, Professor für Mensch-Computer-Interaktion an der Universität Hamburg. Die Forschenden zeigten im Rahmen des Projekts, wie sich Augenbewegungen und Blinzeln für eine geschickte Handumlenkung nutzen lassen.

„Bei der Handumlenkung haben Menschen die Illusion, dass ein reales und ein virtuelles Objekt räumlich übereinstimmen, obwohl sie tatsächlich räumlich zueinander versetzt sind“, erklärt Zenner. Anschaulich formuliert verschiebt der Algorithmus die virtuelle Hand des Nutzers während der Greifbewegung immer weiter gegenüber der realen Hand. Der Algorithmus vergrößert den Versatz der Hand dabei so, dass er am Ende der Greifbewegung mit dem Versatz zwischen virtuellem und realem Objekt übereinstimmt. „Dank der Dominanz des visuellen Eindrucks in der menschlichen Wahrnehmung fällt das nicht auf, solange der Handversatz gewisse Grenzen nicht überschreitet“, sagt der Informatiker. „Allerdings werden diese Grenzen schnell erreicht, wenn die Verschiebung der virtuellen Hand kontinuierlich erfolgt.“ In VHIVE haben die Forscher daher Verfahren entwickelt, mit denen sich die Handumlenkung unbemerkt anwenden lässt. Sie nutzten dazu Blinzeln und Sakkaden aus.

Unbewusstes Blinzeln dient dazu, die Hornhaut permanent mit einem Tränenfilm benetzt zu halten. Sakkaden wiederum sind rasche Bewegungen der Augen, während des gezielten Betrachtens eines Objekts. Ausgangsort für Sakkaden ist der relativ kleine Bereich auf der Netzhaut, mit dem Sehen in höchster Auflösung möglich ist. Sakkaden erweitern quasi diesen Bereich.

Das Virtuelle schleicht sich ein

Wenn die Augen blinzeln oder Sakkaden beschreiben, ist die visuelle Wahrnehmung kurz eingeschränkt. „In dieser Zeit können wir dann die virtuelle Hand verschieben, ohne dass dies wahrnehmbar ist“, erläutert der Informatiker. „Wir schleichen sozusagen den Versatz ein.“ Testpersonen in den Experimenten fiel der Versatz in der Regel nicht auf, wenn er bei einer Armlänge Abstand in der Größenordnung von fünf bis zehn Zentimetern blieb. Mittels Eye-Tracking identifizierte das System dabei, wann es beim Anzeigen der virtuellen Hand schummeln kann. Um ein Blinzeln zu erkennen, musste es das geschlossene Auge identifizieren; bei den Sakkaden maß es, wie schnell und um welche Winkel sich die Pupille drehte. „Wir haben mit dem Projekt erstmals gezeigt, dass sich Blinzeln und Sakkaden für die Handumlenkung nutzen lassen“, berichtet Zenner.

Ein Blinzeln dauert 100 bis 300 Millisekunden. „Das ist für uns viel Zeit“, sagt der Informatiker, „denn wir benötigen nur 11 Millisekunden, um für die VR-Brille ein einzelnes Bild einer virtuellen Szene zu berechnen.“ Sakkaden sind da deutlich anspruchsvoller, denn sie dauern nur 50 Millisekunden. Dafür finden sie alle 300 bis 400 Millisekunden statt und sind so häufiger als Blinzeln nutzbar, das nur alle 3 bis 6 Sekunden erfolgt.

Erzwungener Lidschlag

Überhaupt die Häufigkeit: Das Greifen eines Objekts geht innerhalb von zwei Sekunden über die Bühne. Nur auf das natürlich auftretende Blinzeln zu warten, ist also kein erfolgversprechender Ansatz. Daher erzwingen die Forschenden den Lidschlag. Experimentell erprobt haben sie vier unterschiedliche Auslöser. Einer davon war ein Lichtblitz, der das Display der VR-Brille kurz erhellte, ein anderer eine kurzzeitige Unschärfe im Bild. Auch eine kleine schwarze Kugel, die sich im Bild schnell auf das Auge zubewegt, löste das Blinzeln zuverlässig aus – ähnlich wie bei einem Insekt, das einem ins Gesicht fliegt. Während diese drei Ansätze softwarebasiert waren, diente beim vierten eine kleine Düse als Auslöser. Integriert in die VR-Brille blies sie einen kurzen, feinen Luftstrom neben das Auge. Die Luftverwirbelungen stimulierten dann den Lidschlag.

Denkbar wäre es, noch einen Schritt weiterzugehen und aus dem Blickverhalten und der Handhaltung eines Menschen tote Stellen der Wahrnehmung beim Betrachten einer VR-Szenerie zu identifizieren. Bekanntester Beleg dafür, dass so etwas prinzipiell technisch ausnutzbar wäre, ist die 1999 veröffentlichte Studie „Gorillas in unserer Mitte“ der Psychologen Christopher Chabis und Daniel Simons. Sie zeigten damals, dass rund die Hälfte der Testpersonen, die ihre Aufmerksamkeit auf die Passfolgen eines Basketballteams richteten, einen durchs Video gehenden Menschen im Gorillakostüm nicht wahrnahmen. „Um diesen Effekt auf Virtual Reality umzumünzen, bedürfte es allerdings eines Modells für die Aufmerksamkeit der VR-Nutzer“, umreißt Zenner den – nicht unerheblichen – Aufwand.

Beschleunigung macht leichter

Sehr viel einfacher lässt sich da der Eindruck von Gewicht bei virtuellen Gegenständen hervorrufen, wie es das Saarbrücker UMTL in der Vergangenheit bereits getan hat. „Gezeigt haben wir das rein software-, aber auch hardwarebasiert“, sagt Zenner. Die Vorgehensweise: Greift jemand nach einem realen Gegenstand, um ihn anzuheben, bewegt sich das virtuelle Pendant schneller oder langsamer als der reale Gegenstand nach oben. Beschleunigt der Algorithmus die virtuelle Bewegung, erscheint der virtuelle Gegenstand leichter als der reale. Verlangsamt der Algorithmus hingegen die virtuelle Bewegung, wirkt das virtuelle Objekt schwerer als das reale. „Hinkt das VR-Objekt der Bewegung des realen hinterher, bewegt man den Arm unbewusst weiter nach oben als es real nötig wäre. Das strengt mehr an, was man dann als Gewicht wahrnimmt“, erklärt Zenner. „Es ist so ähnlich wie bei der Computermaus: Stellt man den Mauszeiger so ein, dass er sich langsamer bewegt, wirkt die Maus schwergängiger, sodass man mit der Hand mehr Kraft aufwendet.“

Für ihren Hardwareansatz haben die Forscher einen etwa 50 Zentimeter langen VR-Controller entwickelt, bei dem sich ein Gewicht im Innern verschieben lässt. Schiebt ein integrierter Motor das Gewicht weiter von der Hand weg, die den Controller hält, wirken größere Trägheitskräfte, was den Eindruck von Schwere erzeugt. „2023 hat Sony auf einer Fachkonferenz einen Prototyp vorgestellt, der nach einem ähnlichen Prinzip funktioniert“, berichtet Zenner.

Auch einen Controller, der Trägheit und Luftwiderstand kombiniert, haben die Saarbrücker Forscher bereits entwickelt. Bei diesem Gerät lassen sich zusätzlich zur Verschiebung eines Gewichts zwei Fächer öffnen, um die haptische Wahrnehmung virtueller Objekte zu verändern.

Ein Stoff für neue Computerspiele

Zenner schätzt die Forscher-Community, die sich mit Haptik in der Virtuellen Realität befasst, auf „einige 100 bis 1.000 Personen“. Sowohl in akademischen Einrichtungen als auch in Unternehmen finde derzeit Grundlagenforschung statt, die „sehr international und interdisziplinär“ geprägt sei. „Für den Sprung in die Anwendung wären weitere Tests unter Realbedingungen nötig“, meint Zenner. „Derzeit machen fast alle noch Laborexperimente unter kontrollierten Bedingungen.“ Doch die Basis sei gelegt. Die notwendigen Algorithmen existieren und die Grenzen des Möglichen sind für einige Techniken bekannt. Hilfsmittel wie das Eye-Tracking sind dabei, Standard in VR-Brillen zu werden. „Ich schließe nicht aus, dass sich in einigen Jahren Elemente der Pseudohaptik in VR-Anwendungen oder Computerspielen wiederfinden.“ David Copperfield würde staunen.