„Augmented Reality” heißt eine neue Technik, die reale Bilder mit Computerdaten überlagert.
Kommt Schraube J in Bohrung H, oder muß da ein Holzdübel rein? Werden die Seitenwände A1 und A2 direkt an die Rückwand genagelt, oder muß erst die Schublade eingeschoben werden, weil sonst die Nut nicht mehr über die Schiene paßt? Es soll ja Menschen geben, für die der Zusammenbau eines Ikea-Regals Streß pur ist. Schuld ist natürlich nicht mangelndes handwerkliches Geschick, sondern die verwirrende Bedienungsanleitung, wobei der Fachbegriff „ Explosionszeichnung” ziemlich gut rüberbringt, was man in seiner Wut am liebsten mit diesem miesen Möbelstück machen möchte. Wie wäre es statt dessen damit: Eine ruhige Stimme (vielleicht mit schwedischem Akzent?) sagt: „Nehmen Sie Seitenwand A1 in die linke Hand und führen Sie die Schraube J wie gezeigt in die Bohrung H.” Dabei erscheint ein roter Punkt genau an der Stelle der Bohrung und ein blinkender Pfeil zeigt die Seite an, von der die Schraube eingesteckt wird.
Nicht möglich? Noch nicht bei Ikea, aber in der Industrie wird diese Technik bereits eingesetzt. „Augmented Reality” (AR) – „ erweiterte Realität” – verschmilzt das, was man sieht (zum Beispiel das Brett des Regals) mit Bildern und Tönen aus dem Computer (zum Beispiel einer Bedienungsanleitung). Dazu benötigt man ein sogenanntes Head-Mounted Display – eine Brille mit halbdurchlässigen Gläsern, die einerseits freie Sicht nach vorn ermöglicht, andererseits Bilder, die von einem Computer am Gürtel erzeugt werden, über einen kleinen LCD-Projektor ins Glas einspiegelt.
Totale Immersion – so nennen die Fachleute das völlige Eintauchen in eine virtuelle Realität – ist bei der erweiterten Realität nicht erwünscht. Doch gerade das macht die Sache so schwierig, denn wenn die Wirklichkeit ins Spiel kommt, muß der Computer Daten und Dinge exakt zur Deckung bringen. Dazu ist eine Kamera nötig, die die Umgebung einfängt, sowie ein Orientierungssystem, das die Blickrichtung des Nutzers verfolgt. Nur so erscheint der blinkende Pfeil dort, wo die Schraube ins Holz gedreht werden soll. Außerdem muß der Computer darauf achten, daß die von ihm generierten Objekte nicht mit realen Gegenständen kollidieren. Zwei Bretter des Regals können sich in Wirklichkeit nicht durchdringen als wären sie Luft, und dann dürfen sie es auch in der erweiterten Realität nicht. „Augmented Reality ist technisch viel anspruchsvoller als Virtual Reality”, sagt Stefan Müller, Leiter der Abteilung Visualisierung und virtuelle Realität am Fraunhofer Institut für Graphische Datenverarbeitung (IGD) in Darmstadt.
Eine erste Anwendung hat das IGD schon vor einigen Jahren vorgestellt. In Zusammenarbeit mit BMW wurde eine Hilfe für Monteure entwickelt, die an einem neuen Automodell lernen sollen, ein Türschloß einzubauen. Pfeile zeigen an, wie der Monteur die Mechanik durch das Labyrinth der Türholme zu manövrieren hat. Die technischen Hürden sind hoch und in der Alltagspraxis noch nicht praktikabel. So sind die Displays zu unbequem, und die Orientierung der Kamera klappt nur mit Markierungsstreifen auf der Autotür – gut zum Erlernen der Handgriffe, aber viel zu umständlich für die Serienproduktion.
Nicht nur in der Produktion, schon bei der Entwicklung macht sich AR nützlich. So lassen sich Bilder von Crashtests, die einerseits von Hochgeschwindigkeitskameras bei echten Crashs stammen und andererseits in Supercomputern simuliert werden, so überlagern, daß Simulation und Realität leicht verglichen werden können. Daß Augmented Reality Zukunft hat, beweist die Entscheidung des Bundesforschungsministeriums (BMBF), AR als eine der sechs wichtigsten Technologien für die Wissensgesellschaft zu definieren. Um der Bedeutung Rechnung zu tragen, wurde 1999 das Konsortium Arvika gegründet, das bis 2003 laufen soll. Ihm gehören 18 Partner aus Industrie und Forschung an, darunter das IGD und Siemens, die das Projekt koordinieren. Siemens arbeitet in seinem Forschungsinstitut in Princeton, New Jersey, an mehreren interessanten AR-Anwendungen. Dr. Nassir Navab hat die Software CyliCon entwickelt. Mit ihr lassen sich im Computer Modifikationen an Pipelines – zum Beispiel in einer Raffinerie – visualisieren. Dabei werden nicht einfach zwei Bilder – alt und neu – ineinandermontiert, vielmehr sollen Realität und die Konstruktionsdaten aus dem Computer so verschmelzen, daß ein Spaziergang durch die neue Fabrik möglich wird.
Die Technik dazu ist aufwendig: An den vorhandenen Rohren werden Markierungen angebracht, dann wird die Anlage von allen Seiten fotografiert. Der Computer berechnet daraus ein dreidimensionales Realbild, auf Wunsch sogar ein CAD-Konstruktionsmodell, sofern diese Daten bei einer älteren Anlage fehlen. Mit einem Head Mounted Display ausgerüstet kann der Planer nun in der realen Fabrik umhergehen und sich Daten aus dem Computer einblenden. Auf diese Weise sieht er zum Beispiel sofort, ob Teile der alten Anlage mit den neuen Rohren kollidieren würden. Auf Knopfdruck wird der Boden durchsichtig und zeigt die Rohre unter der Erde. Ist ein Bauteil defekt, zeigt das Display die richtige Inventarnummer und schickt eine Bestellung in die Zentrale. Die Siemens-Energieerzeugung (KWU) nutzt CyliCon bereits, um Kunden neue Kraftwerke zu präsentieren.
Noch in den Kinderschuhen steckt das Projekt von Navabs deutschem Kollegen Dr. Frank Sauer, der in Princeton vom gläsernen Patienten träumt. Sauers Arbeitsfeld ist ein kleiner Tisch, umrahmt von leistungsstarken Grafik-Workstations. Diese überwachen mittels einer Infrarotkamera auf dem Datenhelm und rund 100 reflektierenden Markierungen auf dem Tisch die Blickrichtung. Außerdem blenden sie Bilder eines Kernspintomographen ein, die einen Schnitt durch den Körper eines Patienten zeigen. Dieser liegt – ohne Kopf und Beine – auf dem Tisch und wird von zwei weiteren Kameras auf dem Helm beobachtet. Die Bilder aus dem Computer, die den Plastiktorso überlagern, erwecken die Illusion des gläsernen Menschen – die Organe scheinen zum Greifen nah. Schafft das System in einigen Jahren den Sprung in den OP, könnten Chirurgen, die häufig im Blindflug im Köperinneren operieren müssen, endlich sehen, was sie tun. Noch ist der Helm viel zu schwer, der ganze Aufbau viel zu kompliziert, doch Sauer ist optimistisch: „Bei einer Sechsstunden-Operation sind fünfeinhalb Stunden Routine. Augmented Reality käme nur in kritischen Situationen zum Einsatz.”
Um Menschenleben geht es auch beim Projekt „Battlefield Augmented Reality System”, das vom Office of Naval Research, einer Forschungsorganisation der US-Marine, finanziert wird. AR und andere moderne Technologien sollen Soldaten im Häuserkampf Vorteile gegenüber dem Feind verschaffen. Dazu trägt der Soldat einen Rucksack, der die Position mit dem Satellitennavigationssystem GPS registriert und diese samt Kamerabildern per Funk an eine Einsatzzentrale schickt. Von dort bekommt der Soldat Informationen in seine Datenbrille gespielt: den günstigsten Weg des Vormarschs, Details über Gebäude oder über das Kanalisationsnetz, in dem sich Feinde aufhalten könnten, oder über die Energieversorgung, um diese lahmzulegen. Der Rucksack mit dem passenden
Namen WARS (Wearable Augmented Reality System) kann auch friedlichen Zwecken dienen. Er ist abgeleitet von der Virtual Touring Machine, die am Institut für Computergrafik der Columbia University entwickelt wurde. Auch sie liefert Informationen über eine Stadt, in der zivilen Variante sollen aber Touristen davon profitieren.
Der Prototyp gibt Auskunft zum Campus der Columbia University, indem er zum Beispiel kleine Infokästchen mit Informationen über ein Gebäude einblendet. So ähnlich soll schon bald der elektronische Touristenführer des European Media Lab in Heidelberg funktionieren. Ein Rechner am Gürtel kennt jeden Winkel der alten Stadt am Neckar und gibt Reisenden Auskunft zu Sehenswürdigkeiten, Hotels und Verkehrsmitteln. Der Computer weiß, wo sich der Besucher befindet und wohin er gerade blickt, gesteuert wird über Sprachbefehle. „Wo geht’s zum Schloß?” oder „ Wie sah das Schloß früher aus?” Prompt zeigt das Headset mit Kamera und Monitor die Richtung an oder läßt das alte Gemäuer im neuen Glanz erstrahlen.
Kompakt Augmented Reality (AR) überlagert mit Hilfe einer speziellen Brille reale Bilder und Computerdaten. AR macht Organe im Körper sichtbar, hilft Architekten bei der Planung oder lotst Touristen durch fremde Städte. Das Forschungsministerium hat AR als eine der sechs Schlüsseltechnologien der Wissensgesellschaft definiert.
Bdw community INTERNET Artikel zu AR und VR im Fraunhofer-Magazin 3/2000 (als pdf-Datei) www.fraunhofer.de/german/publications/df/df2000/mag3-2000.pdf
AR-Anwendungen im Institut für Graphische Datenverarbeitung (mit Video-Clips) www.igd.fhg.de/igd-a4/department/ ar.html
Siemens-Forschungsinstitut in Princeton www.scr.siemens.com
Artikel zu AR in der Siemens- Forschungsbroschüre www.siemens.de/FuI/de/zeitschrift/archiv/Heft2_99/artikel01/index.html
Arvika-Konsortium www.arvika.de/www/d/home/home.htm
Infos, Termine, Produkte zu AR www.augmented-reality.org
Militärprojekt des Office of Naval Research ait.nrl.navy.mil/vrlab/projects/BARS/BARS.html
Bernd Müller
