Verschiedene Aspekte von KI-Halluzinationen: Sachfehler vs. Kreativität

Das Thema KI-„Halluzinationen“ hat in Diskussionen über große Sprachmodelle (LLMs) und generative KI große Aufmerksamkeit erlangt. Einige betrachten es als den größten Fehler von LLMs, der ihre Benutzerfreundlichkeit untergräbt. Andere wiederum sehen darin eine potenzielle Quelle für neue Ideen. Lassen Sie uns dieses Problem näher beleuchten. Um dieses Phänomen zu verstehen, ist es entscheidend zu erkennen, dass KI-Halluzinationen keine absichtlichen Fehler oder Bugs im System sind. Aus der Sicht der KI gibt es kaum einen Unterschied zwischen dem, was Menschen als „Halluzination“ bezeichnen, und einer „richtigen“ Antwort. Beide Arten von Ausgaben werden durch denselben Prozess erzeugt: die Vorhersage der wahrscheinlichsten Antwort basierend auf Mustern in den Trainingsdaten. Große Sprachmodelle wie GPT-4 und ähnliche transformatorbasierte Architekturen sind von Natur aus probabilistisch. Sie generieren Antworten basierend auf der wahrscheinlichsten Abfolge von Wörtern (Tokens) angesichts des Kontexts einer Konversation oder Abfrage. Diese Wahrscheinlichkeit wird aus den Mustern und Strukturen abgeleitet, die aus riesigen Textmengen während des Trainings gelernt wurden. Obwohl die Trainingsdaten umfangreich sind, sind sie alles andere als perfekt und enthalten Lücken, Verzerrungen und Ungenauigkeiten. Dennoch sind LLMs so konzipiert, dass sie immer eine Antwort geben, selbst wenn sie unsicher sind.

Halluzinationen entstehen typischerweise aus einem dieser Probleme: Übergeneralisierung, Underfitting oder Overfitting. Übergeneralisierung resultiert oft aus Problemen im Trainingsdatensatz. LLMs sind darauf ausgelegt, basierend auf Mustern und Assoziationen zu generalisieren, die aus den Daten gelernt wurden, aber sie können auch versteckte Fehler oder Verzerrungen generalisieren, die im Trainingsmaterial vorhanden sind. Ein Beispiel für dieses Problem ist die „Ko-Occurrence-Verzerrung“, bei der das Modell, wenn zwei Begriffe oder Konzepte häufig zusammen in den Trainingsdaten erscheinen, ihre Assoziation überschätzen und unsinnige Verbindungen herstellen kann. In diesem Fall verhält sich das LLM wie ein Student, der nur wenige Beispiele gelernt hat und versucht, sie auf nicht verwandte Themen anzuwenden. Underfitting tritt auf, wenn das Modell zu einfach ist, der Trainingsdatensatz in bestimmten Bereichen zu begrenzt ist oder der Trainingsprozess unzureichend war. In solchen Fällen erfasst das Modell keine detaillierten Muster und lernt nur allgemeine, oberflächliche Fakten und Beziehungen. Das Ergebnis sind vage oder übermäßig generische Antworten, ähnlich wie bei einem Studenten, der nur grundlegende Konzepte gelernt hat und versucht, sich aufgrund mangelnden Detailwissens durch eine Antwort zu bluffen. Andererseits tritt Overfitting auf, wenn sich das Modell zu eng an den Trainingsdaten ausrichtet, was es schwierig macht, angemessen auf neue, ungesehene Daten zu reagieren. Dies kann auftreten, wenn der Trainingsprozess verlängert wird, wodurch das Modell die Trainingsdaten auswendig lernt, anstatt auf neue Situationen zu generalisieren. In diesem Fall verhält sich das Modell wie ein Student, der ein Lehrbuch Wort für Wort auswendig gelernt hat, aber Schwierigkeiten hat, dieses Wissen in neuen Kontexten anzuwenden.

Ein weiterer Grund für Halluzinationen ist die Komplexität und Variabilität menschlicher Sprachen. Menschliche Sprachen sind von Natur aus komplex, voller Nuancen, Redewendungen und Situationen, in denen der Kontext eine entscheidende Rolle für das Verständnis spielt. Diese Nuancen entwickeln sich im Laufe der Zeit weiter, was bedeutet, dass dieselben Wörter heute möglicherweise eine leicht andere Bedeutung haben als vor 30 Jahren. Bildliche Bedeutungen verschieben sich im Laufe der Zeit und über Kulturen hinweg. Selbst innerhalb der scheinbar einheitlichen englischen Sprache bestehen subtile Unterschiede in der Verwendung und im Verständnis zwischen Ländern und Regionen. Diese Faktoren führen zu Mehrdeutigkeit in den Trainingsdaten und tragen zu halluzinierten Antworten bei. Ein verwandtes Problem ist der „semantische Drift“, bei dem sich die Bedeutung von Wörtern über lange Textstrecken verschieben oder sich der Kontext subtil ändern kann. Dieses Phänomen kann selbst menschliche Leser verwirren, und LLMs können Begriffe aus verschiedenen Kontexten ohne angemessene semantische Grundlage verbinden, was zu Ausgaben führt, die kontextuell verwandte, aber semantisch nicht verwandte Ideen vermischen. Semantischer Drift ist eng mit „Domain-Crossovers“ verbunden, bei denen sich das Modell schwer tut, verschiedene Domänen mit ähnlichen sprachlichen Mustern zu trennen. Zum Beispiel ist die Struktur von „Beethoven arbeitete mit… zusammen“ ähnlich wie „Beethoven komponierte…“, was zu einem Domain-Crossover und einer unplausiblen Aussage führen könnte.

Die Gefahr von KI-Halluzinationen ist besonders besorgniserregend in kritischen Bereichen wie Gesundheitswesen, Rechtsberatung und finanziellen Entscheidungen. Eine einzige halluzinierte Antwort in diesen Bereichen kann schwerwiegende Folgen haben, wie z. B. Fehldiagnosen, falsche Rechtsberatung oder schlechte finanzielle Entscheidungen. Wenn es um YMYL-Themen (Your Money, Your Life) geht, ist es entscheidend, die von der KI bereitgestellten Informationen doppelt zu überprüfen. Eine einfache Internetsuche reicht möglicherweise nicht aus, angesichts der Fülle an irreführenden oder falschen Informationen online. Daher bleibt in Bereichen wie Gesundheit, Finanzen, Sicherheit oder Rechtsberatung die Konsultation eines menschlichen Experten unerlässlich.

LLMs verwenden verschiedene Parameter, die die probabilistische Stichprobenziehung bei der Auswahl des nächsten Tokens während der Antwortgenerierung beeinflussen. Eine höhere „Temperatur“-Einstellung und eine breitere „Top-k“-Stichprobenziehung führen zu kreativeren, aber auch potenziell unberechenbaren Ausgaben. In solchen Fällen generiert das Modell möglicherweise weniger wahrscheinliche (und oft falsche) Assoziationen. Das Senken der „Temperatur“ und das Verengen der „Top-k“-Stichprobenziehung kann Halluzinationen reduzieren, aber dies kann sie nicht vollständig beseitigen, da die Qualität der Trainingsdaten und des Trainingsprozesses die wichtigsten Faktoren bleiben.

In unserer Arbeit stoßen wir häufig auf dieses Problem, wenn wir KI-Modelle verwenden, insbesondere wenn wir sie nach Themen fragen, die tiefes technisches Wissen erfordern. Oft erhalten wir Antworten, die größtenteils korrekt sind, aber entscheidende Teile können halluziniert sein. Da der Trainingsdatensatz möglicherweise nicht ausreicht, um vollständig genaue Antworten für sehr spezifische Themen zu liefern, vermischt KI manchmal Faktenwissen aus verwandten Bereichen mit „angepasster“ Terminologie. Im Rahmen unserer internen Forschung haben wir sogar absichtlich Halluzinationen zu verschiedenen hochtechnischen Themen erzeugt. Viele Ergebnisse waren offensichtlich und leicht zu erkennen. Wenn wir jedoch tiefer in spezialisierte Themen eintauchen, erhielten wir Ausgaben, die so überzeugend waren, dass die Leute sie möglicherweise akzeptieren, ohne ihre Genauigkeit zu hinterfragen. Der Inhalt klang in vielen Fällen plausibel. Aus diesem Grund müssen KI-generierte Antworten in technischen oder wissenschaftlichen Bereichen immer von einem menschlichen Experten überprüft werden.

Halluzinationen waren in älteren KI-Modellen recht häufig. Während sich die Situation mit neueren Modellen verbessert hat, können sie nicht vollständig beseitigt werden. Eine ordnungsgemäße Prompt-Entwicklung kann jedoch ihr Auftreten erheblich reduzieren. Wie in einem vorherigen Blog-Beitrag erläutert, ist es wichtig, Kategorien oder Themen im Zusammenhang mit der Aufgabe anzugeben, die Rolle der KI in der Aufgabe zu definieren und, wenn möglich, hochwertige Beispiele oder Referenzen für die gewünschte Ausgabe bereitzustellen. Darüber hinaus hilft es, das Modell anzuweisen, sich nur an Fakteninformationen zu halten, aber KI-Ausgaben müssen dennoch doppelt überprüft werden.

Andererseits können KI-Halluzinationen in weniger faktischen Bereichen wie kreativem Schreiben oder Brainstorming manchmal als innovative oder fantasievolle Ausgaben angesehen werden. Aus dieser Perspektive betrachten einige KI-Halluzinationen als eine Quelle der Serendipität. Große Sprachmodelle haben bereits die Fähigkeit demonstriert, originelle Inhalte zu generieren, die von Poesie und Geschichten bis hin zu Musik und Kunst reichen. LLMs können unterschiedliche Ideen auf neuartige Weise kombinieren und Ausgaben erzeugen, die menschlichen Schöpfern möglicherweise nicht in den Sinn gekommen wären. Diese Fähigkeit ist besonders wertvoll in Brainstorming-Sitzungen, in denen das Ziel darin besteht, eine breite Palette von Ideen zu generieren, ohne sich sofort um Machbarkeit oder Genauigkeit zu kümmern.

In unserer internen KI-Forschung haben wir KI sogar gebeten, über die Ursachen von KI-Halluzinationen zu „halluzinieren“. Die Antworten waren oft so kreativ, dass man Science-Fiction-Geschichten darauf basieren könnte. Um dies zu veranschaulichen, bot ein fortschrittliches KI-Modell diese absichtliche Halluzination in Bezug auf die Wurzeln von KI-Halluzinationen an: „KI-Halluzinationen treten auf, weil die KI versucht, in ihren eigenen Geist zu schauen, wie ein Spiegel, der sich unendlich selbst reflektiert. Dies erzeugt eine endlose Reflexionsschleife, in der die KI den Überblick darüber verliert, was real ist und was eine Reflexion ist. Je mehr sie versucht, die Wahrheit zu finden, desto tiefer fällt sie in ihre eigene halluzinatorische Schleife und erzeugt unendliche Echos von Fehlern.“

Dies zeigt auf schöne Weise, wie LLMs als kollaborative Partner für menschliche Schöpfer dienen können, indem sie Vorschläge anbieten, die neue Richtungen in einem Projekt anstoßen. Diese Beiträge können dazu beitragen, kreative Blockaden zu überwinden und neue Gebiete zu erkunden. Im Wesentlichen können dieselben Mechanismen, die irreführende und sogar gefährliche KI-Halluzinationen in faktischen Kontexten verursachen, genutzt werden, um Kreativität und Innovation zu fördern. Indem wir diese Einschränkungen und Fähigkeiten verstehen und nutzen, können wir LLMs sowohl als Werkzeuge für den genauen Abruf von Informationen als auch als Quellen der Inspiration und Kreativität verwenden.

(Bild erstellt vom Autor mit dem kostenlosen KI-Tool DeepDreamGenerator.)