Temperature und Top-p

Worum es geht

Zwei Kolleginnen stellen dieselbe Frage an ChatGPT und bekommen zwei verschiedene Antworten. Das wirkt wie ein Fehler, ist aber die Voreinstellung. Wer weiß, woran das liegt, kann es steuern.

Die beiden Regler, um die es dabei geht, werden Sie in ChatGPT allerdings nicht finden. Sie sitzen eine Ebene tiefer, dort, wo mit Vorlagen und Schnittstellen gearbeitet wird. Was sie tun, sollten Sie trotzdem wissen: Sie erklären, warum dieselbe Frage zweimal etwas anderes ergibt, und warum genau das bei manchen Aufgaben stört.

Wie ein Modell ein Wort auswählt

Ein Sprachmodell schreibt nicht ganze Sätze auf einmal. Es setzt ein Wort nach dem anderen und rechnet vor jedem Schritt aus, wie wahrscheinlich jede Fortsetzung ist, gemessen an den Texten, aus denen es gelernt hat. Nach „Sehr geehrte" steht „Damen" weit oben, „Kartoffel" weit unten. Aus dieser Rangliste muss es eines auswählen, und genau an dieser Stelle greifen die beiden Regler.

Genau genommen sind es Token und keine Wörter. Für die beiden Regler macht das keinen Unterschied, deshalb bleiben wir hier bei Wort. Was ein Token ist, steht in Token.

Temperature: wie weit darf es sich entfernen

Temperature entscheidet, wie ernst das Modell die Rangliste nimmt.

Bei einem niedrigen Wert greift es fast immer zur wahrscheinlichsten Fortsetzung. Daraus folgt das, was im Betrieb den Ausschlag gibt: Dieselbe Anweisung zweimal geschickt ergibt mit hoher Wahrscheinlichkeit zweimal denselben Text, Wort für Wort. Bei 0 liegt die Antwort praktisch fest. Ganz garantiert ist die Wiederholung auch dann nicht, weil im Rechenzentrum nicht jeder Durchlauf exakt gleich abläuft. Die Anbieter schreiben das selbst in ihre Dokumentation: Auch bei 0 sei das Ergebnis nicht vollständig vorhersagbar. Die Regel ist die Wiederholung trotzdem, die Ausnahme ist der Ausreißer.

Der Text wird dabei sachlicher. Das Modell greift zur naheliegenden Formulierung statt zur ausgefallenen, die Wortwahl wird gewöhnlicher und die Sätze werden gerader. Für eine Auswertung, eine Vertragsklausel oder eine Antwortvorlage, die jedes Mal gleich aussehen soll, ist genau das gewünscht.

Bei einem hohen Wert greift das Modell auch zu Wörtern, die weiter unten stehen. Das ist es, was Oberflächen meinen, wenn sie den Regler „kreativ" nennen.

Der Name führt allerdings in die Irre, und die Abbildung zeigt, warum. An der Reihenfolge rührt der Regler nicht. „Damen" steht bei jedem Wert oben, es steht nur mehr oder weniger deutlich oben. Ein hoher Wert bringt dem Modell also keinen einzigen neuen Einfall. Er verteilt allein das Gewicht anders, sodass öfter etwas anderes als der Spitzenreiter gewählt wird.

Was Sie davon haben, ist Abwechslung im Ausdruck: Zweimal dieselbe Anweisung ergibt zweimal einen anderen Text. Was Sie nicht davon haben, sind bessere Gedanken. Mit den ungewöhnlicheren Wörtern steigt zugleich die Zahl der Fehlgriffe, denn weiter unten in der Rangliste steht auch das, was an dieser Stelle nicht hingehört.

Als Anhaltspunkt: 0.2 für alles, was stimmen muss, 0.7 bis 0.9 für alles, was neu klingen soll.

Top-p: wie groß ist der Korb

Top-p arbeitet an derselben Rangliste, aber anders herum. Statt die Auswahl zu gewichten, schneidet es sie ab. Vorgestellt wurde das Verfahren 2019 unter dem Namen Nucleus Sampling, und die Begründung dafür steckt schon im Namen: Der Kern der Verteilung soll erhalten bleiben, der lange Rest dahinter fällt weg.

Bei 0.9 legt das Modell die wahrscheinlichsten Fortsetzungen so lange in den Korb, bis sie zusammen neunzig Prozent der Wahrscheinlichkeit ausmachen, und wählt nur aus diesem Korb. Alles darunter kommt gar nicht erst in Frage.

Die neunzig Prozent sind dabei eine Summe und keine Hürde für das einzelne Wort. Gezählt wird von oben, bis der Wert erreicht ist. Wo das geschieht, hängt davon ab, wie sicher sich das Modell gerade ist. Bei einer eindeutigen Stelle liegt schon nach zwei Wörtern genug im Korb, bei einer offenen wandern viele hinein. Der Korb ist also nicht immer gleich groß, sondern passt sich an.

Der praktische Unterschied: Temperature kann auch einen sehr unwahrscheinlichen Ausreißer wählen, Top-p schließt ihn aus. Deshalb ist Top-p das mildere Mittel gegen abwegige Antworten.

Was Sie damit anfangen

In den meisten Oberflächen ist nur einer der beiden Regler sichtbar, oft gar keiner. Sichtbar werden sie dort, wo mit Vorlagen gearbeitet wird, etwa in Automatisierungen oder in der Schnittstelle. Die Empfehlung lautet, jeweils nur an einem zu drehen. Beide gleichzeitig zu verändern macht das Ergebnis schwer nachvollziehbar.

Bei den neuesten Modellen verschwinden die Regler sogar ganz. Ein Anbieter hat sie für seine jüngste Generation abgeschafft: Wer dort einen anderen als den voreingestellten Wert schickt, bekommt eine Fehlermeldung zurück. Für die Praxis heißt das zweierlei. Verlassen Sie sich nicht darauf, dass ein Regler da ist, wenn Sie das Programm wechseln. Und bauen Sie keine Vorlage, die ohne eine bestimmte Reglerstellung nicht funktioniert. Was ein Ergebnis verlässlich macht, ist eine genaue Anweisung, nicht ein Zahlenwert im Hintergrund.

Woran Sie denken sollten

Ein niedriger Wert macht eine Antwort nicht richtig, sondern nur beständig. Ein Modell, das sicher etwas Falsches behauptet, behauptet es bei Temperature 0 zuverlässig immer wieder. Die Prüfung des Inhalts nehmen einem die Regler nicht ab.