Token

Worum es geht

Sobald man ein Stück tiefer schaut, steht überall dasselbe Wort: Token. Preise werden je Million Token abgerechnet, ein Kontextfenster fasst so und so viele Token, eine Schnittstelle bricht ab, weil ein Limit überschritten ist. Gemeint ist immer dieselbe Sache, und sie ist einfacher, als der Begriff klingt.

In ChatGPT bekommen Sie davon nichts zu sehen. Es gibt keine Anzeige, die mitzählt. Zu spüren ist es trotzdem, an drei Stellen: wenn eine lange Unterhaltung träge wird und vorn etwas herausfällt, wenn eine Datei zu groß ist, und in der Abrechnung, sobald Ihr Haus einen Geschäftszugang oder eine Schnittstelle nutzt. Wer nur im Chatfenster arbeitet, liest das Folgende also als Erklärung und nicht als Anleitung.

Was ein Token ist

Ein Modell liest weder Buchstaben noch Wörter, sondern Token. Ein Token ist das kleinste Stück Text, das es kennt. Die Liste dieser Stücke steht von Anfang an fest und ist je nach Modell einige zehntausend bis über hunderttausend Einträge lang.

Häufige Wörter stehen als Ganzes darin, seltene und lange nicht. Wie die Aufteilung im Einzelnen ausfällt, hängt von der Liste ab, und die ist bei jedem Modell eine andere. In der Liste, mit der der Rechner weiter unten arbeitet, ist „ und" ein einziges Token, „bitte" sind zwei, nämlich „bit" und „te", und „Lieferverzögerung" zerfällt in sechs Stücke. Auch Zahlen kann es treffen: „2026" sind dort zwei Token. Bei einem anderen Modell können all diese Zahlen anders ausfallen.

Zwei Kleinigkeiten fallen dabei auf. Das Leerzeichen vor einem Wort gehört mit zum Token, deshalb steht es oben mit in den Anführungszeichen. Und dasselbe Wort kostet am Satzanfang mehr als mitten im Satz, weil ihm dort das Leerzeichen fehlt.

Deshalb ist die Vereinfachung „ein Token ist ein Wort" für den Einstieg in Ordnung, aber sie stimmt nicht überall. In Wie ein Sprachmodell antwortet steht sie genau aus diesem Grund als Vereinfachung dabei.

Probieren Sie es aus

Am schnellsten versteht man die Aufteilung, wenn man sie an eigenem Text sieht. Kopieren Sie einen Absatz aus einer Mail hinein, oder ein besonders langes deutsches Wort.

Was die Nummer bedeutet

Im Rechner lässt sich zwischen Text und Zahlen umschalten. Jedes Stück hat eine Nummer, und die ist keine Beigabe für Technikinteressierte, sondern der eigentliche Sinn der ganzen Übung.

Ein Modell rechnet. Mit Buchstaben lässt sich nicht rechnen, mit Zahlen schon. Die Nummer ist deshalb der Übergang von Sprache zu Maschine. Was in ein Modell hineingeht, ist nie ein Satz, sondern immer eine Folge von Zahlen, und was herauskommt, ist ebenfalls eine, die erst am Ende wieder in Text zurückübersetzt wird.

Die Nummer selbst bedeutet dabei nichts. Sie ist die Zeile in der Wortliste, nicht mehr, so wie eine Platznummer im Theater nichts über den Gast aussagt. Die 912 ist nicht kleiner, schlechter oder unwichtiger als die 3417.

Die Bedeutung kommt erst im Schritt danach. Jede Nummer wird in eine lange Reihe von Zahlen übersetzt, die das Modell im Training gelernt hat. In dieser Reihe steckt, was das Stück bedeutet und in welchen Zusammenhängen es vorkommt, und Stücke mit ähnlicher Bedeutung bekommen ähnliche Reihen. Die Nummer ist also nur der Schlüssel zum Schrank, nicht sein Inhalt.

Woher die Liste kommt

Die Wortliste schreibt niemand von Hand. Sie wird errechnet, und das Verfahren dahinter ist überraschend schlicht. Es heißt Byte-Pair-Encoding und stammt ursprünglich aus der Datenkompression. In die Sprachverarbeitung kam es 2016 mit einem Aufsatz über die Übersetzung seltener Wörter, und dort ging es um genau das Problem, das es bis heute löst: was tun mit einem Wort, das im Trainingstext nie vorkam.

Am Anfang steht nur das Alphabet, jedes einzelne Zeichen ein Eintrag. Dann geht das Verfahren den gesamten Trainingstext durch und sucht das Paar von Nachbarn, das am häufigsten vorkommt. Stehen „e" und „n" besonders oft beieinander, werden die zwei zu einem neuen Eintrag „en" verschmolzen. Danach wieder von vorn: Welches Paar ist jetzt das häufigste? Vielleicht „en" und „t" zu „ent". Und so weiter, zehntausende Male, bis die Liste die gewünschte Größe erreicht hat.

Heraus kommt eine Liste, in der häufige Buchstabenfolgen zu einem Stück zusammengewachsen sind und seltene in ihren Teilen geblieben. Niemand hat entschieden, dass „ und" ein Eintrag sein soll. Es ist einer geworden, weil die Folge im Trainingstext ständig vorkam.

Daraus folgen zwei Dinge, die im Alltag zählen.

Unbekannt sein kann nichts. Selbst ein Fantasiewort, ein Tippfehler oder ein Aktenzeichen lässt sich zerlegen, zur Not in einzelne Zeichen. Ein Modell steht deshalb nie vor einem Wort, mit dem es überhaupt nichts anfangen kann.

Und es erklärt, warum Deutsch teurer ist. Verschmolzen wurde, was im Trainingstext häufig war, und der war überwiegend englisch. Englische Buchstabenfolgen sind darum öfter zu ganzen Wörtern zusammengewachsen, deutsche seltener. Nicht weil jemand das so entschieden hätte, sondern weil gezählt wurde.

Warum jedes Modell anders zerlegt

Die Wortliste entsteht, bevor das Training beginnt, und sie ändert sich danach nie wieder. Sie gehört zum Modell wie das Alphabet zu einer Schrift. Wie viele Einträge sie hat, entscheidet der Hersteller. Ältere Modelle kommen mit rund fünfzigtausend aus, manche frei verfügbaren mit gut dreißigtausend, neuere haben weit über hunderttausend.

Auch das Verfahren, nach dem die Liste gebaut wird, ist nicht überall dasselbe, und die Texte, aus denen die Häufigkeiten stammen, erst recht nicht. Deshalb bekommt dasselbe Wort bei zwei Modellen nicht nur eine andere Nummer in der Liste, sondern oft auch einen anderen Schnitt. „Betriebsvereinbarung" zerfällt bei dem einen in drei Stücke und bei dem anderen in sieben.

Dazu kommen Zeichen, die im Text gar nicht stehen. Jedes Modell hat eigene Steuertoken, etwa für „hier beginnt eine neue Gesprächsrunde", „hier ist Schluss" oder zum Auffüllen. Sichtbar sind sie nicht, mitgezählt werden sie trotzdem. Ein kurzer Schlagabtausch im Chat kostet deshalb mehr, als die Wörter darin vermuten lassen.

Für Sie folgt daraus vor allem eines: Eine Tokenzahl gilt immer nur für ein bestimmtes Modell. Wer bei einem Anbieter gemessen hat und dann wechselt, misst besser neu.

Warum Deutsch mehr Token braucht als Englisch

Was zusammenwächst, entscheidet die Häufigkeit im Trainingstext. Und der trifft ausgerechnet das, was das Deutsche ausmacht. Zusammensetzungen wie „Betriebsvereinbarung" oder „Krankenkassenbeitrag" sind im Englischen mehrere getrennte Wörter, im Deutschen ein langes, das zerlegt werden muss. Umlaute und das ß kommen in den Listen ebenfalls seltener vor und werden dadurch teurer. Bei älteren Listen bekommt das ß sogar ein eigenes Stück.

Ein Geschäftsbrief mit 39 Wörtern brauchte im Vergleich mit derselben Nachricht auf Englisch gut ein Viertel mehr Token. Mit einer älteren Wortliste waren es zwei Drittel mehr, während der englische Text in beiden Fällen gleich viel kostete. Die Listen sind im Umgang mit dem Deutschen also besser geworden, verschwunden ist der Aufschlag aber nicht.

Deutsch kommt dabei noch glimpflich davon. Eine Untersuchung über viele Sprachen hinweg fand zwischen der günstigsten und der teuersten Sprache Unterschiede bis zum Fünfzehnfachen. Wer nach Token bezahlt, zahlt also je nach Sprache sehr unterschiedlich viel für denselben Inhalt, und das trifft nicht die Sprachen, in denen die Modelle gebaut werden.

Wo Ihnen Token im Alltag begegnen

Beim Preis. Anbieter rechnen je Million Token ab, getrennt nach dem, was hineingeht, und dem, was herauskommt. Wichtig dabei: Ein Chatverlauf wird bei jeder einzelnen Antwort komplett neu mitgeschickt. Ein langes Gespräch bezahlen Sie also nicht einmal, sondern mit jeder Nachfrage erneut.

Bei der Grenze. Wie viel ein Modell gleichzeitig im Blick hat, wird in Token gemessen. Was daraus folgt, steht in Das Kontextfenster.

Bei der Länge der Antwort. Wo sich einstellen lässt, wie ausführlich geantwortet wird, steht dort eine Tokenzahl und keine Wortzahl.

Woran Sie denken sollten

Als Faustregel für deutschen Fließtext: knapp anderthalb Token je Wort bei den aktuellen Modellen, bei älteren eher gegen zwei. Eine Textseite mit rund 500 Wörtern liegt damit zwischen 700 und 900 Token. Für eine Kostenschätzung reicht das, für eine Abrechnung nicht.

Genauer wird es nur mit dem Modell, das Sie tatsächlich einsetzen. Der Rechner weiter oben arbeitet mit einer heute gebräuchlichen Wortliste, und für ein Gefühl reicht das völlig. Wo es ums Geld geht, zählen die Anbieter selbst und weisen die Zahl in der Abrechnung aus.