Eine Leber aus Licht

In der Mitte schwebt überdimensional das virtuelle Innere eines Menschen – rote Adern, die sich um ein graugrünes Etwas ranken. Daran hängt eine Art Schlauch in Quietschorange. „Das Grüne ist die Bauchspeicheldrüse und das Orangene der Tumor“, sagt Verena Uslar. „Versuchen Sie jetzt mal, das Bild an den Ecken mit Daumen und Zeigefinger zu greifen und auseinander zu ziehen.“ Tatsächlich: Zieht man an dem virtuellen Objekt, wird es größer. Dreht man es, kann man hinter die Bauchspeicheldrüse und den Tumor blicken und erkennen, wo sich dort die Blutgefäße entlangschlängeln.

Der technische Trick besteht darin, dass Infrarotsensoren auf den Stativen in den Zimmerecken die Handbewegungen wahrnehmen, die Information an einen Computer übertragen und dann mit dem dreidimensionalen Bild kombinieren. „Inzwischen planen unsere Chirurgen komplizierte Eingriffe regelmäßig hier im Labor“, sagt Verena Uslar. „Sie können gemeinsam im virtuellen Raum stehen und das dreidimensionale Bild von der Leber oder Bauchspeicheldrüse eines Patienten betrachten und anfassen.“

Einsatz während der Operation

Und es geht noch weiter: Dirk Wehye und die anderen Chirurgen nutzen die Hologramme auch während der Operationen. Dazu setzen sie eine Brille mit durchsichtigem Visier auf, in das eine kleine Kamera das Hologramm einblendet – so ähnlich wie beim Head-up-Display eines Autos, das die Tachoanzeige in die Windschutzscheibe projiziert. Experten sprechen von AR-Brillen, wobei AR für „Augmented Reality“ steht – erweiterte Realität. Das bedeutet: Der Blick durch die Brille wird durch das künstliche 3D-Bild ergänzt. Wie im Techniklabor kann Dirk Weyhe das Bild während der Operation mit Daumen und Zeigefinger greifen, drehen und gewissermaßen auf dem Patienten platzieren. „Ich kann daran sehen, wo die kritischen Blutgefäße liegen. Das erleichtert die Arbeit und kann komplizierte Operationen verkürzen.“

Das Pius-Hospital in Oldenburg zeigt, wie weit die Holomedizin bei Leber und Bauchspeicheldrüse bereits ist. Sie ist am Operationstisch angekommen. Allerdings wird die Technologie bislang erst in wenigen Krankenhäusern eingesetzt, neben Oldenburg unter anderem an den Universitätskliniken in Heidelberg, Mainz und Saarbrücken. Vorne mit dabei sind in der Regel Krankenhäuser, die die Holomedizin zunächst noch im Rahmen von Forschungsprojekten weiterentwickeln. In der Regel arbeiten sie mit Medizingeräteherstellern und Forschungseinrichtungen zusammen – denn es gibt noch viel zu optimieren. Die Oldenburger kooperieren mit Informatikexperten des Fraunhofer-Instituts für Digitale Medizin MEVIS in Bremen sowie dem Holomedizin-Unternehmen Apoqlar medical aus Hamburg.

Kniffelige Erkennung von Körperteilen

„Wir haben uns in den vergangenen Jahren gemeinsam weiterentwickelt“, sagt der Medieninformatiker Valentin Kraft, der am Fraunhofer MEVIS für AR und virtuelle Realität (VR) zuständig ist. In dem ersten gemeinsamen Projekt „Vivatop“ vor vier Jahren ging es zunächst darum, dreidimensionale Modelle, die aus verschiedenen bildgebenden Verfahren wie Computertomografie (CT) oder die Magnetresonanztomografie (MRT) extrahiert wurden, für AR und VR nutzbar zu machen. Alle diese Bilder sind zunächst schwarz-weiß. Für eine Software besteht die erste Herausforderung darin, aus diesen grauen und uneindeutigen Bildern die verschiedenen Teile des Körpers herauszulesen – Knochen, Blutgefäße, Gewebe und Tumoren. Segmentierung heißt dieser Analyseprozess.

„Es war früher mühsam, die Algorithmen darauf zu programmieren“, berichtet Valentin Kraft. Das meiste erkenne die Software inzwischen mit Hilfe von KI-Methoden von allein, zur Sicherheit überprüft medizinisches Fachpersonal aber noch, ob der Computer die Gewebe richtig segmentiert hat. Nur so kann für jeden Patienten ein detailgetreues und individuelles 3D-Bild des Krankheitsherdes entstehen. Derzeit läuft das Projekt „Ahrez“, in dem Valentin Kraft und seine Kollegen die Segmentierung weiter verbessern. Künftig soll die Software alles von allein erkennen. Das soll den Mitarbeitern in der Klinik die mühevolle Nacharbeit ersparen.

Viel Arbeit ist auch in die Darstellung der 3D-Bilder geflossen. In den Bildern werden im Detail helle und verschattete Bereiche dargestellt. Dafür musste das MEVIS-Team der Software beibringen, die Strahlengänge des Lichts zu berechnen. Auf welche Flächen trifft das Licht? Welche Bereiche liegen im Dunkeln, weil sie durch andere Strukturen verdeckt sind? Das können die Algorithmen inzwischen zuverlässig ermitteln. Dank dieser Technik sind die 3D-Bilder heute besonders realistisch. Das verbessert die Tiefenwahrnehmung und erleichtert es den Medizinern, die Operation zu planen. Zudem erhöht sich die Sicherheit des Patienten.

Das Problem der Bewegung

Was den Einsatz von Augmented Reality während einer Operation angeht, stehen Valentin Kraft und andere Forscher derzeit aber noch vor einer großen Herausforderung. Die 3D-Bilder sind starr – im Gegensatz zum Patienten. Bei einer Operation ist alles in Bewegung. Der Patient atmet. Fettgewebe wird zur Seite geklappt. Die Chirurgen schieben Organe hin und her, heben die Leber an. Hinzu kommen Lichtreflexe durch austretendes Blut. Die tatsächliche Situation im Körper des Patienten kann also erheblich von dem im Computer generierten 3D-Modell abweichen. Das bedeutet auch, dass die Chirurgen das virtuelle 3D-Bild während der Operation immer wieder verschieben oder drehen müssen, damit es mit der Lage der Organe deckungsgleich ist.

Wünschenswert wäre eine Software, die die Lage und Bewegung der Organe während der Operation automatisch erkennt und das 3D-Bild von allein ausrichtet und nachführt. Noch gibt es keine Bilderkennungssoftware, die das zuverlässig für den Bauchbereich schafft. Es fehlt an klaren Kanten, Punkten oder Landmarken, an denen sich die Software im Körper orientieren könnte. „Derzeit arbeiten wir in dem Projekt Ahrez daran, solche Landmarken und entsprechende Algorithmen zu entwickeln“, berichtet Valentin Kraft.

3D-Bild aus dem Drucker

Auch Tobias Huber kennt das Problem mit dem starren 3D-Bild. Der Oberarzt für Viszeralchirurgie an der Universitätsmedizin Mainz behilft sich, indem er sich vor der Operation das dreidimensionale Hologramm mit dem 3D-Drucker als farbiges Modell ausdrucken lässt. Für die Operation umhüllt er es mit einer sterilen Folie. Während des Eingriffs nimmt er es immer wieder einmal zur Hand – zum Beispiel, um sich zu vergewissern, wo genau der Tumor liegt. „Das ist mitunter besser, als ein starres virtuelles Bild mit der veränderlichen Situation im Patienten zu überlagern.“ Ein Hemmnis bei der Weiterentwicklung von AR und VR für den Operationsalltag besteht seiner Ansicht nach darin, dass die dreidimensionale Bildgebung heute noch nicht als Kassenleistung übernommen werde. Die Kliniken müssten daher sehr genau überlegen, inwieweit es sich lohne, die Technologie zu installieren.

Dabei gibt es inzwischen erste wissenschaftliche Studien, die zeigen, dass sich der Einsatz der 3D-Rekonstruktion in bestimmten Fällen lohnen kann: Die Operationszeit verringert sich. Weniger Patienten versterben nach der Operation. Die Patienten können das Krankenhaus schneller verlassen. Und Metastasen und Tumore kehren seltener zurück. „In Japan werden die dreidimensionalen Verfahren deshalb seit 2012 von der Krankenversicherung übernommen“, berichtet Tobias Huber.

Frage nach einem sinnvollen Einsatz

„Andererseits ist die Frage durchaus berechtigt, wo sich Augmented und Virtual Reality sinnvoll einsetzen lassen“, konstatiert Christoph Michalski, Chef der Chirurgischen Klinik an der Universitätsklinik Heidelberg, die das europaweit größte Zentrum für Pankreas-Operationen betreibt. „Vor etwa zehn Jahren wurde das Thema AR und VR in der Presse aufgebauscht. Für uns Mediziner was es ein langer Prozess zu verstehen, was wir tatsächlich an Technik brauchen und was die Technik kann.“

Klar sei inzwischen, dass sie bei einfacheren Eingriffen zu keinem Mehrwert führt – etwa bei der Operation von Leistenbrüchen. Hinzu komme, dass manche erfahrene Kollegen die Technik ablehnten. „Die Chirurgie ist ein Handwerksfach, das man über die Jahre perfektioniert. Da kommen manche Kollegen zu dem Schluss, dass sie die technische Unterstützung nicht benötigen“, sagt Christoph Michalski.

Dass viele Mediziner anfangs verhalten reagiert haben, lag auch daran, dass die Bildberechnung in den AR-Brillen vor wenigen Jahren noch zu langsam war und – nach Aussage von Michalski – die Interaktion mit dem angezeigten Bild eine unzureichende Performance und ungenügende Präzision aufwies, wie sie aber für die Chirurgie notwendig ist. Wenn ein Chirurg seinen Kopf bewegt, ändert sich der Blickwinkel. Das Hologramm muss sich entsprechend mitbewegen. Daher müssen permanent neue Bilder erzeugt werden.

Die Furcht vor Übelkeit

Anfangs war die Taktrate nicht hoch genug, um einen flüssigen Bilderstrom zu erzeugen. Das führte zur gefürchteten „Motion sickness“ – einer Übelkeit, die durch die Diskrepanz zwischen der tatsächlichen Kopfbewegung und der des Bildes ausgelöst wird. „Durch schnellere Chips und Algorithmen hat die Technik jetzt aber eine Reife erlangt, durch die sich die Tür für den Einsatz im klinischen Alltag öffnet“, stellt Michalski fest. Er selbst nutze die AR-Brille und teste neue Anwendungen, die im Bereich von AR und VR entwickelt werden. „Dank des dreidimensionalen Bildes muss ich bei komplizierten Eingriffen weniger denken. Dadurch ist es weniger anstrengend. Allerdings ist die Brille immer noch so schwer, dass ich sie zwischendurch absetzen muss.“

Bei Augmented und Virtual Reality im klinischen Alltag sind die Übergänge fließend. Im Computer wird das künstliche Hologramm erzeugt. In der AR-Brille verschmilzt es dann mit der Wirklichkeit. Häufig ist deshalb auch von „Mixed Reality“ die Rede. In der Neuro- und Wirbelsäulenchirurgie ist Mixed Reality schon deutlich länger im Einsatz als bei Operationen an der Leber oder dem Pankreas – gut zehn Jahre. Das liegt vor allem auch daran, dass sich die Lage der Patienten kaum verändert. Für die Operation von Hirntumoren etwa wird der Kopf des Patienten mit Schrauben eingespannt und in Position behalten. Und bei Eingriffen an der Wirbelsäule lagert man die Person mit Tüchern und Kissen, sodass sich kaum noch etwas bewegt.

Millimeterarbeit an der Wirbelsäule

Zu den Experten, die Mixed Reality bei Operationen an der Wirbelsäule einsetzen, gehört Bernhard Meyer, Direktor der Klinik und Poliklinik für Neurochirurgie am Universitätsklinikum rechts der Isar in München. Er setzt beispielsweise Schrauben und kleine Stangen ein, um gebrochene Wirbel zu stabilisieren oder verschlissene Wirbelkörper zu stützen. Dabei kommt es auf Millimeter an. Eine falsch gesetzte Schraube kann Nerven oder Blutgefäße treffen. Die Werkzeuge und Bohrer müssen deswegen in einem perfekten Winkel und mit der richtigen Tiefe in die Wirbel eingeführt werden. Daher wird die Position der Werkzeuge im Operationssaal von einer Kamera aufgenommen und dann in ein Navigationsgerät eingespielt. Das überlagert die CT-Aufnahme der Wirbelsäule mit der aktuellen Position der Werkzeuge, die im Bild virtuell dargestellt werden.

Normalerweise sind die überlagerten Bilder auf Monitoren im Operationssaal zu sehen. „Das heißt, dass man ständig zwischen Monitor und Patient hin und her blicken muss“, sagt Bernhard Meyer. „Das ist anstrengend, und da kein Mensch eine perfekte Hand-Auge-Koordination hat, muss die Lage der Instrumente häufig korrigiert werden.“ Seit Kurzem nutzt er deshalb auch ein AR-Brillen-System, das er in Kooperation mit der Medizintechnik-Firma Medacta weiterentwickelt. Dank der Brille hat er das Bild der Wirbelsäule und die Position der Instrumente in den Wirbeln zugleich im Blick. „Unser Ziel ist es, damit die Genauigkeit der Platzierung weiter zu erhöhen“, sagt er. Darüber hinaus habe die Mixed Reality einen weiteren großen Vorteil: „Junge Kollegen erreichen damit sehr viel schneller ein Niveau der Exzellenz, weil sie dank der dreidimensionalen Darstellung viel schneller eine räumliche Vorstellung entwickeln.“

Das sieht auch der Neurochirurg Oliver Sakowitz so, der Leiter des Neurochirurgischen Zentrums Ludwigsburg-Heilbronn. „Früher mussten angehende Chirurgen lange an Leichenpräparaten und Tierkadavern üben und zusätzliche Kurse in Chirurgie besuchen. Es war auch nicht ehrenrührig, während einer besonderen Operation einen Anatomie-Atlas neben sich liegen zu haben. Mit der 3D-Abbildung direkt am Patienten ist die Lernkurve des Operateurs jetzt deutlich steiler.“ Oliver Sakowitz benutzt für die Operation von Hirntumoren ein Mikroskop. In das Sichtfeld kann er sich wahlweise die Strukturen eines Tumors und seiner Umgebung, einzelne Schichtbilder aus dem MRT oder zusätzliche Informationen zum Patienten einblenden lassen. Inzwischen setzt er Augmented Reality bei jeder Gehirnoperation ein.

Eine anpassungsfähige App

Wie diese Beispiele zeigen, ist die Mixed Reality in manchen Kliniken bereits ein alltägliches Werkzeug – auch wenn sie noch nicht endgültig ausgereift ist. Sirko Pelzl, der Gründer der Hamburger Firma Apoqlar, geht davon aus, dass sich die Technik künftig in vielen anderen Krankenhäusern etablieren wird. Seine Firma hat eine App entwickelt, die 3D-Hologramme aus Bilddaten generiert und sie in einer virtuellen Umgebung oder im Operationssaal darstellt – unter anderem in Oldenburg. Eine Besonderheit ist, dass man die App mit jeder beliebigen Hardware kombinieren kann – verschiedenen AR-Brillen zum Beispiel. Damit ist sie flexibel einsetzbar. „Unternehmen wie Meta von Mark Zuckerberg geben Milliarden Euro für die Weiterentwicklung von AR und VR aus“, sagt er. „Doch wir konzentrieren uns lieber auf die medizinische Software.“

Was seine Software angeht, hat Sirko Pelzl einen Paradigmenwechsel vollzogen. Bislang werden die 3D-Bilder, die während der Operationsplanung permanent neu erzeugt werden müssen, um die Bewegung des Arztes auszugleichen, in der Brille oder auf dem Server der Kliniken berechnet. Die benötigte Software muss dafür vor Ort im Krankenhaus von Netzwerkexperten eingerichtet und zum Laufen gebracht werden. Pelzl hingegen lagert seine Software einfach in der Cloud auf großen, externen Datenservern, wo auch die Berechnung der Bilder erfolgt. Die Daten werden in Bruchteilen von Sekunden über schnelle 5G-Mobilfunkverbindungen zwischen Server und AR-Brille hin- und hergeschickt. „So hat die Klinik kaum Arbeit mit der Implementierung und kann die AR-Applikation einfach einsetzen“, sagt Pelzl. Damit werde es möglich, das System beliebig auf einen größeren Maßstab zu skalieren.

So hat Pelzl in Singapur unlängst in einem Krankenhaus zehn Operationssäle mit insgesamt 50 AR-Brillen ausgestattet. Die Datenverbindung läuft über eine abgesicherte, „private“ 5G-Funkstrecke. Die Besuche in Singapur und den Nachbarländern haben ihm eines klar gemacht: Was den Einsatz von Mixed Reality in Krankenhäusern angehe, sei Asien derzeit führend, sagt er. In Deutschland etabliere sich die Technik langsam. In Asien aber legten sich die Kliniken richtig ins Zeug. In manchen deutschen Operationssälen gebe es noch nicht einmal stabile WLAN-Verbindungen. Insofern sei hierzulande auf dem Weg zur Holomedizin noch einiges zu tun.

Menschen orientieren sich bei Entscheidungen an den Erfahrungen anderer. Dieses als „Social Proof“ bekannte psychologische Phänomen…