Wenn Roboter sich durch eine Fabrik, eine Wohnung oder ein Gelände bewegen, müssen sie zunächst eine mentale Karte ihrer Umgebung anlegen. Diese hilft ihnen dann, sich zurechtzufinden und effizient durch diese Umgebungen zu navigieren. Allerdings bleiben die meisten Räume nicht immer gleich: Stühle werden verschoben, Geschirr steht mal auf dem Tisch, mal in der Küche und auch im Freien können Objekte ihre Position verändern. Roboter müssen daher ihre mentale Karte der Umgebung immer wieder aktualisieren. Bisher passierte dies relativ wahllos, indem die Systeme einfach die gesamte Umgebung in Abständen scannen und Vorher-Nachher-Vergleiche ziehen. Doch wenn Roboter nach Gegenständen in dieser sich verändernden Umgebung suchen sollen, sind weitere Fähigkeiten nötig: Sie müssen den geforderten Gegenstand erkennen können und eine Suchstrategie entwickeln, die möglichst schnell zum Ziel führt.
Mentale Karte und semantische Objekterkennung
Einen solchen Roboter haben nun Benjamin Bogenberger und seine Kollegen von der Technischen Universität München entwickelt. Ihr Roboter sieht aus wie ein Besenstiel auf Rädern, an dessen oberem Ende eine Kamera montiert ist. Doch hinter diesem reduzierten Äußeren steckt geballte Technik in Form künstlicher Intelligenz. Sie ermöglicht es dem Roboter, auf Zuruf bestimmte Objekte zu aufzuspüren und dabei gezielt an den wahrscheinlichsten Orten zu suchen. „Unser Ansatz umfasst zwei Operationsmodi, die dies ermöglichen: Der erste ist eine aktive Karten-Aktualisierung“, berichtet das Team. Dafür scannt das Roboter aktiv die Bereiche seiner Umgebung ab, die sich am wahrscheinlichsten ändern, beispielsweise die Oberflächen von Tischen oder Arbeitsplatten. Bereiche, die eher statisch sind, überprüft er hingegen weniger häufig. Die Roboterkamera liefert dafür zweidimensionale Bilder, deren Bildpunkte jedoch zusätzlich Tiefeninformationen enthalten. So entsteht ein zentimetergenaues räumliches Bild der Umgebung, das ständig aktualisiert wird.
Die zweite Komponente ist auf einen Laptop ausgelagert und umfasst die Verbindung mit einem KI-System auf Basis eines Großen Sprachmodells. Durch dieses versteht der Roboter Spracheingaben und kann die gesuchten Objekte mit konkreten Bildern verknüpfen. Zusätzlich liefert ihm dieses KI-System Informationen darüber, wie und in welchem Kontext diese Objekte genutzt werden und wo sie daher am wahrscheinlichsten zu finden sind. So lernt das System, dass eine Brille wahrscheinlicher auf dem Tisch oder der Fensterbank zu finden ist als auf der Herdplatte oder im Spülbecken. „Das Sprachmodell spielt die Beziehungen zwischen den Objekten ein und wir wandeln diese Informationen in die Sprache des Roboters um“, erläutert Seniorautorin Angela Schoellig von der TU München.
