Das Kontextfenster

Worum es geht

Eine Unterhaltung läuft gut. Sie haben zu Beginn erklärt, dass im Newsletter geduzt wird, dass Preise immer netto stehen und dass die Anrede „Liebe Leserinnen und Leser" lautet. Zwanzig Nachrichten später steht im Entwurf wieder „Sehr geehrte Damen und Herren".

Das ist kein Aussetzer und kein Fehler in der Leitung. Das Modell hat die Anweisung nicht vergessen, denn es hatte sie nie im Gedächtnis. Es hat sie nur nicht mehr vor sich.

Sichtfeld statt Gedächtnis

Zwischen zwei Nachrichten merkt sich ein Modell nichts. Es gibt keinen Ort, an dem etwas liegen bliebe, und keine Akte, in der es nachschlüge. Womit es arbeitet, ist ausschließlich der Text, der ihm in diesem Moment vorliegt.

Damit eine Unterhaltung überhaupt zusammenhängt, muss dieser Text bei jeder einzelnen Antwort komplett neu übergeben werden. Ihre erste Frage, die erste Antwort, Ihre zweite Frage, die zweite Antwort, und so weiter bis zur aktuellen Nachricht. Was Sie als fortlaufenden Verlauf sehen, ist für das Modell jedes Mal ein einziger, etwas längerer Text, den es von vorn liest.

Der Platz für diesen Text heißt Kontextfenster. Gemessen wird er in Token, also in den Stücken, in die Text zerlegt wird, und wie das genau geht, steht in Token. Heutige Modelle fassen einige hunderttausend bis rund eine Million davon. Das klingt nach viel, und für einen Vormittag im Chatfenster ist es das auch. Für ein Handbuch nicht unbedingt.

Was alles darin Platz braucht

Ihre Nachrichten sind nur ein Teil davon. Mitgezählt wird alles, was das Modell für diese eine Antwort vor sich haben muss:

• die Anweisung des Anbieters, die vor jedem Gespräch steht und die Sie nicht zu sehen bekommen,
• die Beschreibung aller Werkzeuge, die das Modell benutzen darf,
• jedes Dokument und jedes Bild, das Sie angehängt haben,
• Fundstellen, die im Hintergrund aus Ihren Unterlagen gesucht wurden,
• der gesamte bisherige Verlauf,
• und die Antwort, die gerade entsteht.

Der letzte Punkt überrascht die meisten. Das Fenster ist kein Eingangskorb, sondern der ganze Arbeitsplatz. Was hineingeschrieben wird, verbraucht denselben Platz wie das, was hineingelegt wurde. Wer ein randvolles Fenster hat und dann eine lange Antwort verlangt, bekommt sie deshalb unter Umständen gar nicht.

Probieren Sie es aus

Am schnellsten bekommt man ein Gefühl dafür, wenn man ein paar Dokumente hineinlegt und zusieht, wie schnell es eng wird.

Was passiert, wenn es voll wird

Das hängt davon ab, womit Sie arbeiten, und die drei Möglichkeiten unterscheiden sich erheblich.

In einer Schnittstelle kommt eine Fehlermeldung. Unangenehm, aber ehrlich: Sie wissen sofort, woran Sie sind.

In einem Chatfenster fällt das Älteste stillschweigend heraus. Nichts blinkt, nichts warnt, die Antwort kommt wie immer. Nur bezieht sie sich jetzt auf einen Verlauf, dem vorn etwas fehlt. Das ist der Fall aus dem ersten Absatz, und er ist der gefährlichste, weil man ihn erst am Ergebnis merkt.

Und in den heutigen Chatprogrammen wird zusammengefasst. Das Ältere wird durch eine Kurzfassung ersetzt, damit das Gespräch weitergehen kann. Das ist die freundlichste der drei Möglichkeiten und trotzdem ein Verlust, denn eine Zusammenfassung behält, was wichtig aussah, und nicht das, was Ihnen wichtig war. Die Anweisung mit dem Du überlebt so eine Kurzfassung selten.

Voller heißt nicht besser

Die Fenster sind in den letzten Jahren stark gewachsen, und es liegt nahe zu denken, damit sei das Problem erledigt. Ist es nicht. Mit der Länge sinkt die Trefferquote, auch weit unterhalb der Grenze. Die Anbieter haben dafür inzwischen einen eigenen Ausdruck, sie sprechen von einem Fenster, das verrottet.

Besonders gut untersucht ist eine Eigenheit dabei: Es kommt darauf an, wo im Fenster eine Angabe steht. Dieselbe Information wird zuverlässig gefunden, wenn sie am Anfang oder am Ende steht, und deutlich seltener, wenn sie in der Mitte liegt.

Ein größeres Fenster ist deshalb kein Ersatz für ein aufgeräumtes. Fünfzig Seiten hineinzukippen, in denen die Antwort irgendwo steht, ist schlechter, als die drei richtigen Seiten hineinzulegen.

Was das für Ihre Arbeit bedeutet

Vier Gewohnheiten, und die erste ist die wirksamste.

Neues Thema, neue Unterhaltung. Ein Gespräch, das sich über den halben Tag schleppt, schleppt seinen ganzen Anfang mit. Das kostet Geld, macht die Antworten schlechter und lässt am Ende genau das herausfallen, was zu Beginn vereinbart wurde.

Zwischenstände aus dem Chat heraus. Was Sie behalten wollen, gehört in eine Datei, nicht in den Verlauf. Der Verlauf ist Arbeitsfläche und kein Archiv.

Wichtiges wiederholen statt darauf vertrauen. Wenn nach zwanzig Nachrichten noch immer geduzt werden soll, schreiben Sie es noch einmal hin. Das ist keine Umständlichkeit, das ist die Bedienung.

Das Entscheidende an den Anfang oder ans Ende. Wenn Sie ein langes Dokument mitgeben und eine bestimmte Klausel wichtig ist, stellen Sie sie voran. In der Mitte eines langen Textes geht sie am ehesten unter.

Woran Sie denken sollten

Das Fenster endet mit der Unterhaltung. Was ein Programm darüber hinaus behält, etwa Ihren Namen oder eine Vorliebe, ist eine eigene Funktion mit einem eigenen Schalter und keine Eigenschaft des Modells. In ChatGPT heißt sie Erinnerung und sitzt in den Einstellungen unter Personalisierung. Dort lässt sich auch einzeln nachlesen und löschen, was das Programm über Sie notiert hat.

Davon zu unterscheiden sind Projekte. Dort hinterlegen Sie Dateien und Anweisungen für mehrere Unterhaltungen, und die gehen bei jeder Frage erneut mit ins Fenster. Eine Erinnerung ist eine kurze Notiz, ein Projekt kann das Fenster spürbar füllen.

Wo diese Dinge dann liegen und wie lange, steht in Wo die Daten landen.