Warum KI halluziniert

Worum es geht

Der Text ist gut. Er ist sauber gegliedert, der Ton stimmt, und in der Mitte steht eine Fundstelle. Sie schlagen nach, und es gibt sie nicht.

Ab diesem Moment ist der ganze Text fraglich, auch die Absätze, die stimmen. Genau darin liegt der Schaden: nicht in der einen falschen Angabe, sondern darin, dass man den Rest nicht mehr ungeprüft weitergeben kann.

Warum das passiert

Ein Modell rechnet aus, welche Fortsetzung wahrscheinlich ist, und Wahrscheinlichkeit ist nicht Wahrheit. Wie das im Einzelnen abläuft, steht in Wie ein Sprachmodell antwortet.

Wichtig ist hier nur die Folge daraus: Eine richtige und eine erfundene Angabe entstehen auf genau demselben Weg. Eine Größe für richtig und falsch kommt in der Rechnung nicht vor.

Dazu kommt eine Eigenheit, die im Alltag den Ausschlag gibt. Bei willkürlichen Angaben gibt es überhaupt kein Muster zu lernen. Ein Geburtsdatum, ein Aktenzeichen, eine Randnummer: Solche Angaben folgen keiner Regel, aus der sich die richtige ableiten ließe. Das Modell rechnet trotzdem eine Fortsetzung aus, denn eine wahrscheinlichste gibt es immer.

Warum es nicht von selbst verschwindet

Die Frage kommt in jeder Schulung: Wird das nicht mit der nächsten Generation besser? Ein Papier von OpenAI und Georgia Tech aus dem September 2025 gibt darauf eine unbequeme Antwort. Erfundenes hält sich nicht, weil die Technik noch nicht weit genug ist, sondern weil es sich lohnt.

Modelle werden an Fragenkatalogen gemessen. Dort zählt fast überall nur die richtige Antwort. „Weiß ich nicht" bringt genauso viele Punkte wie eine falsche Angabe, nämlich keine. Wer unter dieser Regel rät, schneidet besser ab als wer schweigt.

Ein Modell ist also dauerhaft in der Lage eines Prüflings, der kein Feld leer lässt. Und es geht auch anders, das lässt sich zeigen. In einer Prüfung aus absichtlich schweren Faktenfragen wurden zwei Modelle verglichen. Das eine antwortet immer, das andere enthält sich, wenn es unsicher ist.

Probieren Sie es aus

Am schnellsten versteht man den Anreiz, wenn man ihn selbst hat. Sechs Fragen, die kaum jemand alle weiß. Sie entscheiden bei jeder: raten oder zugeben.

Wo es besonders häufig auftritt

Überall dort, wo etwas selten und genau ist. Zahlen, Namen, Zitate, Aktenzeichen, Normen, Fristen, Preise. Und je enger das Fachgebiet, desto weniger stand darüber in den Trainingstexten, desto dünner ist die Grundlage.

Das ist die unangenehme Umkehrung: Ausgerechnet bei den Fragen, bei denen Sie Fachwissen hätten und deshalb eine Antwort brauchen, ist das Risiko am größten. Bei Allerweltsfragen, die Sie selbst beantworten könnten, ist es am kleinsten.

Ein zweiter Punkt, der überrascht: Ein Modell, das vor der Antwort erst nachdenkt, ist hier nicht sicherer. Bei reinen Wissensfragen erhöht längeres Nachdenken die Zahl der erfundenen Angaben sogar, und zwar aus demselben Grund wie oben. Wer länger nachdenkt, versucht öfter eine Antwort, statt sich zu enthalten. Mehr dazu in Reasoning-Modelle.

Aber es nennt doch Quellen

Der Einwand kommt in jeder Schulung, und er ist berechtigt. Wer ChatGPT recherchieren lässt, bekommt eine Antwort mit anklickbaren Fundstellen darunter. Das sieht nach dem Ende des Problems aus.

Es senkt das Risiko auch wirklich. Das Modell muss die Antwort dann nicht aus dem Gedächtnis zusammensetzen, es hat etwas vor sich, das es fortsetzen kann. Das ist derselbe Hebel wie „Material mitgeben“ weiter unten, nur dass ihn das Programm von allein bedient.

Abgeschafft ist das Problem damit nicht. Drei Fälle bleiben.

Der Treffer stimmt, die Zusammenfassung nicht. Aus einer richtigen Fundstelle wird trotzdem falsch weitergeschrieben. Zahlen und Einschränkungen trifft es zuerst.

Der Link ist echt und trägt die Aussage nicht. Er steht da, er lässt sich anklicken, und in dem verlinkten Text steht etwas anderes oder gar nichts zu dem Satz, hinter dem er hängt.

Es wurde gar nicht gesucht. Ob überhaupt eine Suche stattfindet, entscheidet das Programm und nicht Sie. Eine Antwort ohne Fundstellen klingt genauso sicher wie eine mit.

Die Prüfung entfällt also nicht, sie verschiebt sich. Aus „stimmt das?“ wird „steht das wirklich in dem, was da verlinkt ist?“. Wer bei einer solchen Recherche eigentlich sucht, steht in Modell, Werkzeug, Agent.

Was im Alltag hilft

Fünf Handgriffe, vom wirksamsten zum bequemsten.

Material mitgeben statt danach fragen. Die Klausel, um die es geht, gehört in die Anweisung. Was das Modell vor sich hat, muss es nicht erfinden. Bei größeren Beständen macht man das mit RAG.

Enthaltung ausdrücklich erlauben. Ein Satz wie „Wenn du es nicht sicher weißt, schreibe das, statt zu schätzen" wirkt, und die Abbildungen oben zeigen, warum: Ohne diese Erlaubnis ist Raten die bessere Strategie.

Eng schneiden. Eine Frage nach einer Sache, nicht nach fünf. Je länger die Antwort, desto mehr Stellen, an denen etwas Erfundenes untergehen kann.

Zahlen nachrechnen. Nicht überfliegen, nachrechnen. Summen, Prozentsätze und Fristen sind die häufigsten Stellen.

Quellen anklicken. Eine Fundstelle ohne Klick ist keine Prüfung. Genau darauf zielt die eine erfundene Angabe, die durchrutscht. Und Anklicken allein reicht nicht: Es muss dort auch stehen, was behauptet wurde.

Woran Sie denken sollten

Ein sicherer Ton ist eine Eigenschaft des Modells und kein Zeichen für Richtigkeit. Menschen werden vorsichtig, wenn sie unsicher sind, und man hört es ihnen an. Diese Zögerlichkeit hat ein Modell nicht, solange sie ihm niemand erlaubt.

Die Verantwortung für ein Ergebnis bleibt deshalb bei der Person, die es weitergibt. Das ist keine juristische Vorsichtsformel, sondern die Arbeitsteilung: Formulieren kann das Modell, ob es stimmt, bleibt Ihre Sache.