Kreatives Gewusel

Agenten im Stil von Ameisen

Zum Einsatz kommt die Methode beispielsweise bei Fußgängersimulationen zur Planung von Flughäfen, Einkaufszentren oder U-Bahnstationen. Wie die Ameisen im Bau, folgt auch hier jeder Agent einfachen, lokalen Regeln: sich in Richtung eines Ziels bewegen, Abstand zu anderen halten, Hindernissen ausweichen. Im Zusammenspiel entstehen daraus realistische Bewegungsmuster, die Staus oder Engpässe vorhersagen können. So lassen sich Laufwege optimieren, Wartezeiten reduzieren oder Fluchtwege so gestalten, dass im Notfall möglichst viele Menschen schnell und sicher das Gebäude verlassen können. Auf ähnliche Weise lassen sich auch Arbeitsabläufe optimieren. „Ein Unternehmen, das eine große Fabrik bauen will, wird fast immer vorher Simulationsstudien machen“, sagt Timm. Damit lassen sich schon vor dem Bau die Anordnungen von Maschinen für die Nutzung durch die Arbeiter optimieren.

Doch Sozialsimulationen können auch deutlich komplexere soziale Mechanismen nachbilden. Ein Zusammenhang, der häufig mithilfe von Multi-Agenten-Systemen untersucht wird, ergibt sich aus dem Wechselspiel von sozialem Druck, sozialer Unterstützung und sozialem Lernen. Sozialer Druck entsteht immer dann, wenn sich ein Mensch in eine Sonderrolle hineinbegibt – zum Beispiel, wenn er in einer Gruppe, in der Alkohol getrunken wird, Nein zum Alkohol sagen will. Soziale Unterstützung bedeutet, dass Menschen in ihrer Gruppe andere finden, die sie in ihren Handlungen bestärken, zum Beispiel Großeltern, die in der Nähe sind und bei der Kinderbetreuung helfen können. Soziales Lernen wiederum lässt sich gut im Straßenverkehr beobachten: Wenn alle etwas schneller fahren als erlaubt und dennoch keine Unfälle passieren und auch keine Strafen verhängt werden, lernt man daraus, dass dieses Verhalten offenbar akzeptiert ist. „Diese verschiedenen Mechanismen greifen ineinander, und wir versuchen, sie in unseren Simulationen nachzubilden“, sagt Timm.

Das Abbild von Kaiserslautern

In einer besonders umfangreichen Simulation haben die Trierer Forscher die gesamte Stadt Kaiserslautern nachgebildet. Um die Wirksamkeit von Maßnahmen während der Coronapandemie abzuschätzen, erschufen Timm und sein Team mehr als 100.000 Agenten – einen für jeden Einwohner der Stadt in der Pfalz. Jeder Agent hatte dabei seine eigene Tagesplanung: Abhängig von Alter und beruflicher Tätigkeit, bewegte er sich zwischen Zuhause, Arbeit, Schule oder verschiedenen Freizeitaktivitäten und traf dabei auf andere Agenten. Um an die für die individuelle Modellierung der Agenten notwendigen Daten zu kommen und beispielsweise herauszufinden, wie oft Menschen bestimmte Freizeitaktivitäten ausüben, werten Timm und sein Team Sozialstudien aus, machen eigene Umfragen und arbeiten auch mit anderen Forschungsgruppen zusammen. „So bauen wir die Modelle schrittweise aus und validieren sie anhand realer Daten“, berichtet der Trierer Wirtschaftsinformatiker.

Das kollektive Verhalten einer großen Zahl von Menschen lässt sich durch digitale Agenten nachbilden. · Foto: © LT / stock.adobe.com

Ähnlich wie bei einem Brettspiel entwickelten sich die sozialen Dynamiken im simulierten Kaiserslautern, indem die Forscher ihre Agenten rundenbasiert handeln ließen. Anschließend wurde untersucht, welche Kontakte entstanden und wo Infektionen mit dem Coronavirus auftraten. Die Agenten konnten ihr Verhalten dabei reflektieren und anpassen, etwa wenn die Welt als gefährlicher wahrgenommen wurde. „Das Besondere ist, dass diese Akteure sensibel auf Veränderungen reagieren und nicht einfach stur Handlungen ausführen“, erläutert Timm. Erst durch diese Flexibilität wird aus reiner Statistik schließlich ein lebendiges System, das auch komplexe soziale Phänomene abbilden kann.

Chatbots bilden ein Team

Was die Agenten in Timms Sozialsimulation allerdings nicht tun, ist direkt miteinander in natürlicher Sprache zu kommunizieren. Bei den Millionen von Interaktionen, die während der simulierten Entwicklung einer ganzen Stadt über mehrere Monate zusammenkommen, wäre der Einsatz großer Sprachmodelle wie ChatGPT zumindest nach heutigem Stand viel zu teuer und energieintensiv. Dennoch eignen sich auch Chatbots hervorragend dazu, als autonome Agenten zusammenzuarbeiten. Die Analogie ist in diesem Fall allerdings weniger der Ameisenbau als vielmehr ein menschliches Team, in dem die einzelnen Teilnehmer unterschiedliche Aufgaben erfüllen und jeweils ihre eigene Sichtweise einbringen, um gemeinsam ein Problem zu lösen. „Bei solchen Multi-Agenten-Systemen nutzt man den Effekt der Emergenz“, erklärt Sebastian Pokutta, Professor für Optimization and Machine Learning an der Technischen Universität Berlin und Vizepräsident des Zuse Instituts Berlin. „Das System zeigt also ein Verhalten, das über die Fähigkeiten der Einzelagenten hinausgeht.“

Feedback-Schleifen für besseren Unterricht

Typischerweise werden für solche Gesprächsrunden zunächst Dialogformate definiert – entweder abwechselnd, im Kreis oder einfach nach dem Prinzip: „Wer sich zuerst meldet, ist als Erster dran“. In einem von Pokuttas Forschungsprojekten interagieren etwa ein Lehrer- und ein Schüleragent, um gemeinsam eine Übungsaufgabe zu lösen. Der Schüleragent fragt immer dann beim Lehreragenten nach, wenn er etwas nicht versteht, woraufhin der Lehrer Feedback gibt. Das geht so lange hin und her, bis die Aufgabe gelöst ist. Dann kommt ein weiterer Agent ins Spiel, der evaluiert, wie gut der Lehrer auf die Bedürfnisse des Schülers eingegangen ist. Daraus ergibt sich eine Feedback-Schleife, die die Strategie des Lehrers kontinuierlich anpasst. Am Ende spuckt das System dann eine Übungsaufgabe aus, die genau auf die individuellen Bedürfnisse des Schülers zugeschnitten ist – und menschlichen Lehrern im Unterricht helfen soll.

Um den Agenten ihre Rollen zuzuweisen, bekommt jeder von ihnen per Prompt ein Persönlichkeitsprofil verpasst. Im Lehrer-Prompt heißt es etwa: „Du vermittelst ein klares Bild der Lernsituation des Schülers, wobei du das mathematische Wissen und die Motivation berücksichtigst. Und du stellst fest und erklärst, ob der Schüler unterdurchschnittlich oder überdurchschnittlich gut arbeitet.“ Und ein Beispiel für den Prompt eines Schüleragenten könnte lauten: „Du bist ein 15-jähriger männlicher Schüler mit überdurchschnittlichen mathematischen Leistungen und starker Motivation, zu lernen. Du arbeitest an Aufgaben, die zu deinem aktuellen Wissensstand, deiner Selbstwahrnehmung und deiner Motivation passen. Während des gesamten Prozesses reflektierst du über deine Gedanken, Gefühle und mathematischen Fähigkeiten.“ Dabei handelt es sich Pokutta zufolge allerdings nur um eine für die wissenschaftliche Veröffentlichung gekürzte Version, die das Prinzip darstellen soll. In der Praxis ist die Komplexität wesentlich größer, und solche Prompts können mehrere Seiten lang sein.

Arbeitsabläufe in einer Fabrik lassen sichdurch Agentenschwärme nach bilden und optimieren. Der Trierer Forscher Ingo Timm und sein Team können dafür verschiedene Szenarien simulieren. · Foto: © DFKI

Die Realisierung der einzelnen Agenten durch jeweils eigene Sprachmodelle soll sicherstellen, dass sie auch wirklich in ihrer zugewiesenen Rolle bleiben. Würde man alle beteiligten Agenten gemeinsam in einem Prompt definieren und versuchen, sie in einem einzigen Modell abzubilden, wären sogenannte Spillover-Effekte zu befürchten: Die Rollen könnten sich vermischen. „Das ist, als würde man ein Rollenspiel im Kopf machen“, erklärt Pokutta: „Die zweite Person würde zwangsläufig wissen, was die erste denkt, und die Idee der individuellen Interaktion ginge komplett verloren.“ Doch das sei auch immer eine Frage der aktuell verfügbaren Technologie. Eine neue Generation von Sprachmodellen könnte in der Lage sein, Fähigkeiten, die man aktuell noch mit Einzelagenten zusammenbaut, im Ganzen zu simulieren.

Anders ist die Situation naturgemäß dann, wenn die einzelnen Agenten unterschiedlichen Parteien angehören. Wenn etwa jemand seinen persönlichen Agenten darauf ansetzt, einen Flug zu buchen, und dieser mit dem Agenten einer Airline kommuniziert, der Angebote erstellt, dann agieren auch sie autonom, vertreten aber unterschiedliche Interessen. „In diesem Kontext ergeben Multi-Agenten-Systeme ebenfalls eine Menge Sinn“, sagt Pokutta. „Das werden wir in Zukunft vermehrt sehen.“

Ein Roboter unter Menschen

Multi-Agenten-Systeme entstehen aber nicht nur, wenn Roboter, Computerprogramme oder Chatbots unter sich sind. „Jeder Roboter, der in die echte Welt hinausgeht, arbeitet automatisch in einem Multi-Agenten-System, sobald er mit Menschen interagiert“, sagt Thomas Weisswange, der am Honda Research Institute in Offenbach zu automatischen Entscheidungsfindungen in der Robotik forscht. „Die Frage nach einer zentralen Kontrollinstanz stellt sich in diesem Fall gar nicht erst, weil nicht alle Akteure unter deren Kontrolle stehen.“

Wenn nur Roboter in einem Team zusammenarbeiten sollen, beispielsweise, um gemeinsam ein Auto zusammenzubauen oder ein Katastrophengebiet zu erkunden, steht am Beginn üblicherweise ein zentrales Training, in dem alle beteiligten Roboter gemeinsam lernen. Eine zentrale Instanz bestimmt, welche Aktionen ausgeführt werden sollen, und bewertet die Ergebnisse der Kooperation. Auf diese Art werden die Aktionen der Roboter nach und nach besser, und am Ende weiß jeder von ihnen, welches Verhalten für das Erreichen des gemeinsamen Ziels optimal ist und was seine eigene Rolle dabei ist. Später, in der Anwendung nach dem Training, handelt jeder Roboter weitgehend autonom und geht einfach davon aus, dass auch die anderen das Richtige tun werden.

Die Grundlage für k ooperativesVerhalten von Mensch und Maschine ist ein gemeinsames Ziel. Das Hand-haben von Objekten durch den Roboter und seinen menschlichen Partner soll vor allem Erfolgserlebnisse bieten. · Foto: © Honda Research Institute Europe GmbH

„Mit Menschen funktioniert das im Normalfall nicht, da sie sich nicht optimal verhalten“, sagt Weisswange. „Die menschliche Unberechenbarkeit führt zu einer dynamischen Komponente, auf die ein Roboter flexibel reagieren muss.“ Gemeinsam mit Wissenschaftlern der Universität Darmstadt hat der Honda-Forscher deshalb ein mathematisches Konzept entwickelt, das Robotern im Umgang mit Menschen helfen soll, die richtigen Entscheidungen zu treffen. Der Fokus des Teams lag dabei auf sogenannten „Koexistenz-Szenarien“, in denen Roboter und Menschen sich zwar begegnen, aber verschiedene Ziele verfolgen. Ein Lieferroboter trifft in der Stadt etwa auf jede Menge Leute, die aber nichts mit seiner eigenen Aufgabe zu tun haben. „Würde er sich nur darauf konzentrieren, niemandem im Weg zu stehen, käme er nie an“, sagt Weisswange. „Verfolgt er hingegen stur sein Ziel und fährt rücksichtslos durch die Menge, wäre das ebenfalls inakzeptabel.“ Formal teilen die Forscher die Strategie des Roboters daher in eine „Task Policy“, also sein eigenes Ziel, und eine „Interaction Policy“ auf. Letztere bestimmt seinen Umgang damit, dass andere dieselben Ressourcen nutzen, und sagt ihm, wie er sie dabei möglichst wenig stört oder ihnen im Idealfall sogar helfen kann.

Das Problem mit der Karotte

Um ihre Methode zu testen, haben die Forscher eine einfache Küchenumgebung simuliert, in der ein Roboter die Aufgabe hat, ein bestimmtes Gericht zuzubereiten. Doch in der Küche befindet sich auch ein Mensch, der ebenfalls etwas kochen möchte. Die Situation ist dabei so konstruiert, dass der Mensch eine Karotte benötigt, die aber nur für den Roboter erreichbar ist. „Den Roboter müsste das eigentlich gar nicht interessieren“, sagt Weisswange. „Damit er sich trotzdem nützlich machen kann, ist der erste Schritt, die Perspektive des anderen einzunehmen.“ Der Roboter sieht also die Situation des Menschen und erkennt an dessen Handlungen, dass dieser die Karotte wahrscheinlich bald für die Zubereitung seines Gerichts benötigen wird. Im konkreten Beispiel liegt sie aber in einem Bereich der Küche, den nur der Roboter erreichen kann. Da der auch seine eigene Aufgabe erledigen muss, legt er die Karotte nur dann in den Bereich des Menschen, wenn es für ihn gerade passt.

Die mathematische Vorschrift, mit der Weisswange und seine Kollegen die Abwägung zwischen dem Erledigen der eigenen Aufgabe und der Hilfestellung für den Menschen modelliert haben, sorgt für die gewünschte Balance. Sie besagt: Erledige das, was für dich wichtig ist, wenn es wirklich kritisch ist – ansonsten unterstütze den anderen. „Das Ergebnis ist also, dass der Roboter zur Kooperation neigt, wenn es für ihn selbst keinen großen Mehraufwand bedeutet“, erläutert Weisswange. Nach dem gleichen Prinzip könnte der Lieferroboter im Multi-Agenten-System der Stadt zum Beispiel auch eine ältere Dame über die Straße führen, wenn er sowieso die Straßenseite wechseln muss. Dabei würden für ihn schließlich kaum zusätzliche Kosten entstehen.

Ob gemeinsam mit Menschen oder ganz unter sich: Autonom handelnde Maschinen und Computerprogramme werden in Zeiten Künstlicher Intelligenz weiter an Bedeutung gewinnen. Sie dezentral zu steuern, sorgt nicht nur für Robustheit, Flexibilität und Skalierbarkeit. Was Multi-Agenten-Systeme so leistungsfähig macht, ist vielmehr das Prinzip, das sich durch alle Arten von Zusammenarbeit zieht: Das Ganze ist mehr als die Summe seiner Teile. ■

Aufbau einer Aufgabe, bei der Mensch und Roboter zusammen verschiedene Mahlzeiten zubereiten. · Foto: © Honda Research Institute Europe GmbH

Thomas
Brandstetter
fasziniert die Vorstellung, dass intelligente Systeme ihre größte Stärke in der Zusammenarbeit entfalten.