Sprachmodelle made in Europe

Training bislang fast nur auf Englisch

Üblicherweise werden große Sprachmodelle fast ausschließlich auf Englisch trainiert und bekommen nur kleine Mengen anderssprachiger Daten beigemischt, um ihre Mehrsprachigkeit zu entwickeln. Mit solchen, hauptsächlich durch Suchmaschinen aus dem Internet herausgefischten Texten lernt ein Modell zwar selbst Texte zu generieren und nimmt gleichzeitig ein gewisses Weltwissen auf. Allerdings: Frage- und Antwortpaare kommen in diesen Trainingsdaten recht selten vor und machen deshalb aus einem Sprachmodell noch lange keinen brauchbaren Gesprächspartner.

Große Herstellerfirmen trainieren deshalb in einem weiteren Schritt gezielt die Interaktionsfähigkeit ihrer Modelle – also die Fähigkeit, zu chatten. „Vor allem hier fehlen deutschsprachige Trainingsdaten“, klagt Andreas Hotho. Um LläMmlein zu trainieren, mussten er und sein Team für dieses „Instruction Tuning“ deshalb auf englischsprachige Daten zurückgreifen und diese ins Deutsche übersetzen lassen. „Doch die Übersetzungstools dafür haben ihre Grenzen, worunter die Qualität der Daten und damit auch der Trainingserfolg leidet“, erläutert der Forscher.

Pionierarbeit in deutscher Sprache

Mit „nur“ einer Milliarde Parametern ist die Entwicklung von LläMmlein vor allem Pionierarbeit und zielt darauf ab, die Grundlage für die Entwicklung und eine systematische Analyse deutscher Sprachmodelle zu schaffen. Die gigantischen Llama-Modelle von Mata AI, auf die auch sein Name anspielt, sind bis zu 2.000-mal so groß. „Um wirklich komplexe Probleme zu lösen, braucht man mindestens 70 Milliarden Parameter“, stellt Hotho fest. „Erst bei dieser Größenordnung erreicht man die Fähigkeiten, die notwendig sind, um mit den führenden Modellen mitzuhalten.“

Die Mittel, die Hotho und seinem Team zur Verfügung standen, reichten dafür bei Weitem nicht aus. Schließlich war LläMmlein ein lehrstuhlinternes Vorhaben, für das er lediglich auf die Unterstützung eines Doktoranden und einer Masterstudentin zählen konnte. Die Kosten für die Rechenkapazität, die schließlich am High Performance Computing Center der Universität Erlangen-Nürnberg für das Training zur Verfügung gestellt wurde, beliefen sich auf rund 100.000 Euro – ein „Witz“ im Vergleich zu den großen, kommerziellen Modellen, wie es Andreas Hotho ausdrückt.

Neben Know-how und Daten ist die Rechenleistung die dritte entscheidende Zutat für die Entwicklung von Sprachmodellen. „Es gibt durchaus Supercomputer in Europa sowie auch in Deutschland, auf denen sich große Modelle trainieren ließen“, sagt Hotho. Und mit „Jupiter“ befindet sich am Forschungszentrum Jülich sogar der erste europäische Exascalerechner. Im Herbst 2025 knackte er zum ersten Mal die magische Marke von einer Trillion Rechenoperationen pro Sekunde. „Diese Ressourcen stehen allerdings der gesamten Forschung zur Verfügung und nicht nur der Entwicklung Künstlicher Intelligenz“, erläutert Andreas Hotho. Viele dieser Supercomputer wurden in erster Linie für komplizierte Simulationen, beispielsweise in der Materialforschung, oder für die Berechnung von Klimamodellen gebaut.

Chinesisches Modell an der Weltspitze

Aber bei allen Problemen gibt es auch Grund zur Hoffnung, dass der Zug für Europa in Sachen Sprachmodelle noch nicht abgefahren ist. So kann das 123-Milliarden-Parameter-Modell „Large 2“ des französischen Herstellers Mistral AI zumindest halbwegs mit den State-of-the-Art-Modellen aus den USA mithalten, auch wenn es sich noch nicht ganz auf Augenhöhe befindet. Und erst Anfang 2025 hat es der Chatbot „R1“ der chinesischen Firma DeepSeek für viele Fachleute überraschend sogar an die Spitze der weltweiten Vergleichslisten geschafft.

Allerdings hat die chinesische Regierung dabei auf recht plumpe Art eingegriffen. Fragt man R1 beispielsweise nach dem Tian’anmen-Massaker von 1989, winkt es höflich ab und schlägt vor, doch lieber über etwas anderes zu reden. „Dennoch haben die Chinesen ziemlich klar gezeigt, dass man in endlicher Zeit an die Weltspitze aufschließen kann“, sagt Hotho. „Dafür haben sie allerdings auch all ihre Ressourcen gebündelt. Das vermisse ich bei uns in Europa in diesem Ausmaß leider noch.“

Doch auch in Europa gibt es bereits erste Initiativen, um mit vereinten Kräften noch in das Rennen um die technologische Vorherrschaft einzusteigen. Und im europäischen Maßstab gedacht, stehen dafür eine ganze Reihe von Sprachen und damit deutlich größere Datenmengen als für das Training von LläMmlein zur Verfügung. So wurde das im Rahmen des Projekts OpenGPT-X unter der Koordination der Fraunhofer-Institute für Intelligente Analyse- und Informationssysteme IAIS in Sankt Augustin sowie für Integrierte Schaltungen IIS in Erlangen entwickelte Sprachmodell „Teuken“ bewusst in allen 24 Amtssprachen der EU trainiert. Damit sollte, wie es heißt, ein klarer Fokus auf Europa gesetzt werden.

Quelloffen, transparent und nicht kommerziell

Mit rund sieben Milliarden Parametern ist zwar auch Teuken relativ klein, weshalb es bei komplexen Aufgaben noch nicht mit den großen Modellen mithalten kann. Dafür wurde es im Gegensatz zu den kommerziellen sogenannten Closed-Source-Sprachmodellen aus Übersee quelloffen, transparent und ohne unmittelbare wirtschaftliche Interessen entwickelt. „Closed-Source-Technologie sehen wir als Wissenschaftler stets kritisch, da wir nicht überprüfen können, was in einer solchen ‚Black Box‘ geschieht“, erklärt Georg Rehm, der als Principal Researcher am Labor Berlin des Deutschen Forschungszentrums für Künstliche Intelligenz (DFKI) an der Entwicklung von Teuken beteiligt war. Nur wenn man genau wisse, welche Daten für das Training eines Modells verwendet wurden, könne man auch nachvollziehen, wie die Antworten eines Modells zustande kommen.

„Wir haben Teuken vollständig von Grund auf trainiert und nicht nur ein bestehendes Modell weiterentwickelt“, erläutert Rehm. „Dafür mussten wir vor allem einmal geeignete Daten finden und sammeln, um den richtigen Mix für mehrere Sprachen zusammenzustellen.“ Den mit Abstand größten Brocken an Trainingsdaten macht mit ungefähr 40 Prozent auch bei Teuken Englisch aus, gefolgt von Französisch, Deutsch und Spanisch mit jeweils etwas weniger als zehn Prozent.

Ein Ansatz für digitale Sprachgerechtigkeit

Neben den 24 offiziellen EU-Sprachen gibt es aber auch noch eine ganze Reihe weiterer Sprachen, die keine offiziellen EU-Sprachen sind, etwa Sorbisch in Deutschland, Walisisch, Isländisch oder Baskisch. Alle diese Sprachen haben ihre eigenen linguistischen Besonderheiten, werden aber nur von relativ wenigen Menschen gesprochen und gelten in der Forschung daher als „under-resourced“. Es sind also schlicht und einfach zu wenige digitale Texte davon vorhanden, um eigene Sprachmodelle damit zu trainieren. Einige europäische Sprachen gelten gar als vom digitalen Aussterben bedroht. „In unserer Forschung sehen wir, dass multilinguale Sprachmodelle wie Teuken auch in jenen Sprachen gute Ergebnisse liefern, von denen sie nur sehr wenige Textdaten gesehen haben“, freut sich Rehm. Sobald ein Modell also auf Basis größerer Datensätze erst einmal ein allgemeines Sprachverständnis und Mehrsprachigkeit entwickelt hat, reichen schon wenige zusätzliche Texte, um eine neue Sprache zu erlernen. Laut Rehm steht damit erstmals ein technologisch sinnvoller Ansatz zur Verfügung, um in Europa so etwas wie digitale Sprachgerechtigkeit zu erreichen.

Um die Entwicklung europäischer Sprachmodelle voranzutreiben, koordiniert der DFKI-Wissenschaftler auch den Aufbau des „European Language Data Space“ der Europäischen Union. Dieser „digitale Marktplatz“, der in Form eines Prototyps bereits existiert, soll unter anderem Zeitungsverlagen, Radiostationen und Bibliotheken ermöglichen, ihre Sprachdaten in einem EU-konformen, rechtlichen Rahmen einfach und sicher zum Verkauf anzubieten. „Das ist ein Schatz an Daten, der täglich wächst – ein per Hand kuratierter, hochwertiger journalistischer Content“, schwärmt Rehm. „In Zukunft könnte man vielleicht sogar tagesaktuelle Daten wie die 20-Uhr-Nachrichten einbeziehen, um Sprachmodelle kontinuierlich weiter zu trainieren.“

Allerdings: Wenn Europa seine digitale Souveränität stärken will, anstatt sich von den Antwortmaschinen amerikanischer und chinesischer Unternehmen abhängig zu machen, wird es zu all der positiven Energie auch noch politische Entschlossenheit und eine Menge zusätzlicher Ressourcen brauchen – ebenso wie ein gesundes Maß an Transparenz und demokratisch legitimierter Kontrolle. Sonst könnten Probleme mit Desinformation, Polarisierung und Hass in den sozialen Medien noch wachsen. ■