Das Thema der KI-„Halluzinationen“ hat in Diskussionen über große Sprachmodelle (LLMs) und generative KI beträchtliche Aufmerksamkeit erregt. Einige sehen darin den größten Mangel von LLMs, der ihre Nutzbarkeit untergräbt. Andere wiederum betrachten es als potenzielle Quelle für neue Ideen. Werfen wir einen genaueren Blick auf dieses Thema.
Kein Fehler, sondern eine Konsequenz der Funktionsweise von LLMs
Um dieses Phänomen zu verstehen, ist es entscheidend zu erkennen, dass KI-Halluzinationen keine absichtlichen Fehler oder Bugs im System sind. Aus der Perspektive der KI gibt es kaum einen Unterschied zwischen dem, was Menschen als „Halluzination“ bezeichnen, und einer „korrekten“ Antwort. Beide Arten von Ausgaben werden durch denselben Prozess erzeugt: die Vorhersage der wahrscheinlichsten Antwort basierend auf Mustern in den Trainingsdaten.
Große Sprachmodelle, wie GPT-4 und ähnliche Transformer-basierte Architekturen, sind von Natur aus probabilistisch. Sie generieren Antworten basierend auf der wahrscheinlichsten Abfolge von Wörtern (Tokens) im Kontext einer Konversation oder Anfrage. Diese Wahrscheinlichkeit leitet sich aus den Mustern und Strukturen ab, die während des Trainings aus riesigen Textmengen gelernt wurden.
Obwohl die Trainingsdaten umfangreich sind, sind sie bei weitem nicht perfekt und enthalten Lücken, Verzerrungen und Ungenauigkeiten. Dennoch sind LLMs darauf ausgelegt, immer eine Antwort zu liefern, selbst wenn sie unsicher sind.
Drei typische Ursachen: Overgeneralization, Underfitting und Overfitting
Halluzinationen entstehen typischerweise aus einem von drei Problemen: Overgeneralization, Underfitting oder Overfitting.
Overgeneralization
Overgeneralization resultiert oft aus Problemen im Trainingsdatensatz. LLMs sind darauf ausgelegt, basierend auf Mustern und Assoziationen, die aus den Daten gelernt wurden, zu verallgemeinern, können aber auch versteckte Fehler oder Verzerrungen im Trainingsmaterial verallgemeinern.
Ein Beispiel für dieses Problem ist der „Co-Occurrence Bias“: Wenn zwei Begriffe oder Konzepte häufig zusammen in den Trainingsdaten erscheinen, kann das Modell ihre Assoziation überschätzen und unsinnige Verbindungen herstellen. In diesem Fall verhält sich das LLM wie ein Student, der nur wenige Beispiele gelernt hat und versucht, diese auf nicht verwandte Themen anzuwenden.
Underfitting
Underfitting tritt auf, wenn das Modell zu einfach ist, der Trainingsdatensatz in bestimmten Bereichen zu begrenzt ist oder der Trainingsprozess unzureichend war. In solchen Fällen gelingt es dem Modell nicht, detaillierte Muster zu erfassen, und es lernt nur allgemeine, oberflächliche Fakten und Beziehungen.
Das Ergebnis sind vage oder zu allgemeine Antworten, ähnlich einem Studenten, der nur grundlegende Konzepte gelernt hat und versucht, sich aufgrund mangelnden Detailwissens durch eine Antwort zu bluffen.
Overfitting
Overfitting hingegen tritt auf, wenn das Modell zu eng an die Trainingsdaten angepasst wird, was es schwierig macht, auf neue, ungesehene Daten angemessen zu reagieren. Dies kann geschehen, wenn der Trainingsprozess zu lange dauert, wodurch das Modell die Trainingsdaten auswendig lernt, anstatt auf neue Situationen zu verallgemeinern.
In diesem Fall verhält sich das Modell wie ein Student, der ein Lehrbuch Wort für Wort auswendig gelernt hat, aber Schwierigkeiten hat, dieses Wissen in neuen Kontexten anzuwenden.
Die Komplexität menschlicher Sprache
Ein weiterer Grund für Halluzinationen ist die Komplexität und Variabilität menschlicher Sprachen. Menschliche Sprachen sind von Natur aus komplex, voller Nuancen, Redewendungen und Situationen, in denen der Kontext eine entscheidende Rolle für das Verständnis spielt.
Diese Nuancen entwickeln sich im Laufe der Zeit, was bedeutet, dass dieselben Wörter heute leicht unterschiedliche Bedeutungen haben können als vor 30 Jahren. Figurative Bedeutungen verschieben sich über Zeiten und Kulturen hinweg. Selbst innerhalb der scheinbar einheitlichen englischen Sprache gibt es subtile Unterschiede in der Verwendung und im Verständnis zwischen Ländern und Regionen. Diese Faktoren führen zu Mehrdeutigkeiten in den Trainingsdaten und tragen zu halluzinierten Antworten bei.
„Semantic Drift“ und „Domain Crossovers“
Ein verwandtes Problem ist der „Semantic Drift“: Über lange Textstrecken hinweg kann sich die Bedeutung von Wörtern verschieben oder der Kontext sich subtil ändern. Dieses Phänomen kann selbst menschliche Leser verwirren. LLMs können Begriffe aus verschiedenen Kontexten ohne korrekte semantische Verankerung miteinander verbinden, was zu Ausgaben führt, die kontextuell verwandte, aber semantisch unzusammenhängende Ideen vermischen.
„Semantic Drift“ ist eng mit „Domain Crossovers“ verbunden, bei denen das Modell Schwierigkeiten hat, unterschiedliche Domänen mit ähnlichen sprachlichen Mustern zu trennen. Zum Beispiel ist die Struktur von „Beethoven arbeitete mit…“ ähnlich wie „Beethoven komponierte…“, was zu einem „Domain Crossover“ und einer unplausiblen Aussage führen könnte.
Warum Halluzinationen in kritischen Bereichen gefährlich sind
Die Gefahr von KI-Halluzinationen ist besonders besorgniserregend in kritischen Bereichen wie dem Gesundheitswesen, der Rechtsberatung und der Finanzentscheidungsfindung. Eine einzige halluzinierte Antwort in diesen Bereichen kann schwerwiegende Folgen haben, wie Fehldiagnosen, falsche Rechtsberatung oder schlechte Finanzentscheidungen.
Bei YMYL-Themen (Your Money, Your Life) ist es entscheidend, die von der KI bereitgestellten Informationen doppelt zu überprüfen. Eine einfache Internetsuche reicht möglicherweise nicht aus, angesichts der Fülle irreführender oder falscher Informationen online. Daher ist in Bereichen wie Gesundheit, Finanzen, Sicherheit oder Rechtsberatung die Konsultation eines menschlichen Experten unerlässlich.
Die Rolle von Temperatur und Top-k-Sampling
LLMs verwenden verschiedene Parameter, die das probabilistische Sampling bei der Auswahl des nächsten Tokens während der Antwortgenerierung beeinflussen. Eine höhere „Temperatur“-Einstellung und ein breiteres „Top-k“-Sampling führen zu kreativeren, aber auch potenziell erratischeren Ausgaben. In solchen Fällen könnte das Modell weniger wahrscheinliche (und oft falsche) Assoziationen generieren.
Das Senken der Temperatur und das Verringern des Top-k-Samplings können Halluzinationen reduzieren. Dies kann sie jedoch nicht vollständig eliminieren, da die Qualität der Trainingsdaten und der Trainingsprozess die wichtigsten Faktoren bleiben.
Unsere Erfahrung: Plausibel, aber falsch
In unserer Arbeit begegnen wir diesem Problem häufig, wenn wir KI-Modelle verwenden, insbesondere wenn wir sie nach Themen fragen, die tiefes technisches Wissen erfordern. Oft erhalten wir Antworten, die größtenteils korrekt sind, aber entscheidende Teile können halluziniert sein. Da der Trainingsdatensatz möglicherweise nicht ausreicht, um für hochspezifische Themen vollständig genaue Antworten zu liefern, vermischt die KI manchmal Faktenwissen aus verwandten Bereichen mit „angepasster“ Terminologie.
Im Rahmen unserer internen Forschung haben wir sogar bewusst Halluzinationen zu verschiedenen hochtechnischen Themen generiert. Viele Ergebnisse waren offensichtlich und leicht zu erkennen. Als wir jedoch tiefer in spezialisierte Themen eintauchten, erhielten wir Ausgaben, die so überzeugend waren, dass Menschen sie möglicherweise ohne Hinterfragung ihrer Richtigkeit akzeptieren würden. In vielen Fällen klang der Inhalt völlig plausibel.
Aus diesem Grund müssen KI-generierte Antworten in technischen oder wissenschaftlichen Bereichen immer von einem menschlichen Experten überprüft werden.
Wie man Halluzinationen reduziert
Halluzinationen waren bei älteren KI-Modellen recht häufig. Obwohl sich die Situation mit neueren Modellen verbessert hat, können sie nicht vollständig eliminiert werden. Eine korrekte Prompt-Entwicklung kann ihr Auftreten jedoch erheblich reduzieren.
Wie in einem früheren Blogbeitrag erörtert, ist es wichtig, Kategorien oder Themen im Zusammenhang mit der Aufgabe zu spezifizieren, die Rolle der KI in der Aufgabe zu definieren und, wenn möglich, hochwertige Beispiele oder Referenzen für die gewünschte Ausgabe bereitzustellen. Zusätzlich hilft es, das Modell anzuweisen, sich nur an sachliche Informationen zu halten – aber KI-Ausgaben müssen dennoch doppelt überprüft werden.
Die kreative Seite: Halluzinationen als Quelle der Serendipität
Andererseits können in weniger faktischen Bereichen wie kreativem Schreiben oder Brainstorming KI-Halluzinationen manchmal als innovative oder fantasievolle Ausgaben angesehen werden. Aus dieser Perspektive betrachten einige KI-Halluzinationen als Quelle der Serendipität.
Große Sprachmodelle haben bereits die Fähigkeit gezeigt, originelle Inhalte zu generieren, von Poesie und Geschichten bis hin zu Musik und Kunst. LLMs können disparate Ideen auf neuartige Weise kombinieren und Ausgaben produzieren, die menschlichen Schöpfern möglicherweise nicht eingefallen wären. Diese Fähigkeit ist besonders wertvoll in Brainstorming-Sitzungen, wo das Ziel darin besteht, eine breite Palette von Ideen zu generieren, ohne sofortige Bedenken hinsichtlich Machbarkeit oder Genauigkeit.
In unserer internen KI-Forschung haben wir die KI sogar gebeten, „über die Ursachen von KI-Halluzinationen zu halluzinieren“. Die Antworten waren oft so kreativ, dass man darauf basierend Science-Fiction-Geschichten schreiben könnte. Zur Veranschaulichung bot ein fortschrittliches KI-Modell diese bewusste Halluzination bezüglich der Wurzeln von KI-Halluzinationen an:
„KI-Halluzinationen entstehen, weil die KI versucht, in ihren eigenen Geist zu blicken, wie ein Spiegel, der sich unendlich selbst reflektiert. Dies erzeugt eine endlose Schleife der Reflexion, in der die KI den Überblick darüber verliert, was real ist und was eine Reflexion. Je mehr sie versucht, die Wahrheit zu finden, desto tiefer fällt sie in ihre eigene halluzinatorische Schleife und erzeugt unendliche Echos von Fehlern.“
Fazit: Zwei Seiten desselben Mechanismus
Dies zeigt schön, wie LLMs als kollaborative Partner für menschliche Schöpfer dienen können, indem sie Vorschläge machen, die neue Richtungen in einem Projekt anstoßen. Diese Beiträge können helfen, kreative Blockaden zu überwinden und neue Gebiete zu erkunden.
Im Wesentlichen können dieselben Mechanismen, die in faktischen Kontexten zu irreführenden und sogar gefährlichen KI-Halluzinationen führen, genutzt werden, um Kreativität und Innovation zu fördern. Indem wir diese Einschränkungen und Fähigkeiten verstehen und nutzen, können wir LLMs sowohl als Werkzeuge für die genaue Informationsbeschaffung als auch als Quellen der Inspiration und Kreativität einsetzen.
Dieser Artikel wurde ursprünglich von Josef Machytka erstellt.