Forschungszentrum Jülich entwickelt faires und nachhaltiges KI-Sprachenmodell "Trust LLM"

Trust LLM (Large Language Model) heißt das Sprachenmodell, das aktuell auch vom Forschungszentrum Jülich mitentwickelt wird. Es ist ein Sprachmodell, dem der Nutzer vertrauen kann. Ausgangspunkt für das Europäische Sprachenmodell sind bereits existierende Chatbots aus den USA. "Ja, ChatGPT war definitiv ein Auslöser. Das benutzen jetzt sehr viele Menschen", erklärt Dr. Stefan Kesselheim vom Forschungszentrum Jülich.

"Das Problem bei den amerikanischen Sprachmodellen ist nur leider, dass dahinter oft große Konzerne stehen, die ein kommerzielles Interesse haben. Zudem sind die Funktionsweisen oftmals nicht transparent und sie zeigen nicht offen, welche Daten sie verwenden. Wir möchten da einfach eine offene Alternative bieten, die im europäischen Raum existieren kann."

Auch wenn es vielleicht danach klingt - TrustLLM versucht nicht, zur Konkurrenz für ChatGPT und Co zu werden. Viel mehr möchten die Macher im Hintergrund aktiv sein und ein großes Sprachenmodell auf die Beine stellen, das für viele verschiedene Zwecke und Projekte eingesetzt werden kann - also nicht nur als Chatbot. Außerdem soll Trust LLM mit mehr Daten gefüttert werden als jedes andere europäische Sprachenmodell zuvor.

Bei so einer Herkulesaufgabe transparent, fair und nachhaltig zu bleiben, ist nicht einfach. Damit kommen auf die Forscher auch einige Probleme zu, erklärt Dr. Kesselheim. "Welche Daten benutzt man für so ein Training? Wie geht man damit um, dass eine Sprache wie Isländisch gerade mal so viele Sprecher hat, wie Aachen Einwohner, man denen aber dennoch die gleichen Werkzeuge und Möglichkeiten auf ihrer Sprache anbieten möchte? Wir möchten im Prinzip schauen, dass das Technologie ist, die von allen genutzt werden kann. Also dass beispielsweise auch kleine Start-Ups sich unsere KI herunterladen können und nicht an große Firmen gebunden sein müssen. Das ist unser Ziel."

Gefahr der Falschinformationen

Die Forscher starten mit einer Auswahl an germanischen Sprachen und wollen sich danach auf andere Sprachfamilien ausweiten. Ein weiteres Problem, mit dem wohl jede KI kämpft, ist die Gefahr der Falschinformationen. ChatGPT und Co basieren auf Machine-Learning-Modellen. Aufgrund ihrer Funktionsweise sind diese nicht in der Lage, eine aufgenommene Information einfach wieder zu vergessen. Alle Daten, die bei der Programmierung gefüttert wurden, bleiben in der KI enthalten.

Beim Generieren von Texten gibt es also keine Garantie auf den Wahrheitsgehalt der generierten Textbausteine. Auch dieses Problem möchten die Macher von Trust LLM angehen. Der aktuelle Lösungsansatz nennt sich "Retrieval augmented generation". Hier kann das Sprachmodell auch auf eine Wissenbasis zurückgreifen, die sich nicht im Trainingsdatensatz befunden hat mit der sie programmiert worden ist.

"Das heißt also, dass das Modell erst einmal heraussucht, welche Dokumente mit der Fragestellung in Verbindung gebracht werden können, bevor die Antwort generiert wird. Dann bleiben die relevanten Dokumente, die nicht im Trainingsdatensatz gewesen sein müssen, vorne im System und ich kann dann als Nutzer auch darauf klicken und sagen, dass ich die Information kontrollieren möchte. Ich glaube, das ist sehr wichtig, denn Fehlinformationen in generierten Texten kann man - ohne großartig die Art und Weise zu ändern, wie die Modelle aufgebaut sind - nicht wirklich verhindern."

Jülichs Supercomputer Jupiter

Bei der Entwicklung von Trust LLM soll außerdem der Supercomputer Jupiter zum Einsatz kommen. Der wird aktuell im Forschungszentrum gebaut und soll der schnellste und leistungsfähigste Supercomputer Europas werden. Auch Jupiter kann das System hinter Trust LLM weiter nach vorne treiben. "Wir hoffen auch ein bisschen darauf, dass er auch der schnellste Rechner für KI-Funktionen sein wird, die sind nämlich immer ein wenig anders vom Aufbau her als die Simulationen, die Computer wie Jupiter in der Regel erstellen."

"Mit einem Computer wie Jupiter kann man aber sicherlich größere und schnellere Modelle erstellen, die dann auch anders und besser antworten. Man sieht beispielsweise auch, dass ChatGPT4 besser ist als ChatGPT3. Aber die Rechengeschwindigkeit ist natürlich auch nur eine von vielen Zutaten für das Gesamte. Wir können eine tolle Infrastruktur haben, die bringt uns dann aber leider nicht viel, wenn wir nicht auch darauf achten, unsere Datenauswahl zu verbessern oder unsere Methoden anzupassen."

Bis Jupiter bei der Nutzung von Trust LLM helfen kann, dauert es noch ein wenig. Der Quantencomputer wird wohl erst Ende des Jahres einsatzbereit sein. Eine erste Version des Sprachenmodells soll aber trotzdem noch im Laufe des Jahres frei verfügbar sein.

Lindsay Ahn