AITAS Academy
Kostenlose Webinare

KI verstehen

Eigene Daten mit RAG

Wie ein Modell an Handbücher, Protokolle und Richtlinien aus dem eigenen Haus kommt, ohne dass dafür etwas trainiert werden muss.

Nachschlagen statt Auswendiglernen

Lesezeit: ca. 5 MinutenAnwendungTeams mit eigenem Dokumentenbestand

Damit ein Modell Ihre Unterlagen kennt, muss es nicht darauf trainiert werden. Beim Abruf werden die passenden Stellen gesucht und der Frage einfach beigelegt. Das Verfahren heißt RAG. Es ist schnell einzurichten, jederzeit aktualisierbar und im Ergebnis nachvollziehbar, weil die verwendeten Stellen benannt werden können. Schiefgehen kann es fast immer beim Suchen, nicht beim Antworten.

Worum es geht

Der Wunsch ist in jeder Schulung derselbe: Das Programm soll unsere Handbücher kennen, unsere Richtlinien, unsere Protokolle. Und der erste Gedanke ist fast immer derselbe: Dann müssen wir es wohl damit trainieren.

Muss man nicht. Und man sollte auch nicht, denn es gibt einen Weg, der schneller, billiger und nachvollziehbarer ist. Er heißt RAG, und die Abkürzung steht für einen Aufsatz von 2020, in dem er zum ersten Mal beschrieben wurde.

Nachschlagen statt Auswendiglernen

Die Grundidee besteht aus vier Schritten. Zwei davon laufen einmal, zwei bei jeder Frage.

Vier Schritte nebeneinander: zerlegen, ablegen, suchen, beilegen. Das Handbuch wird in Stücke geteilt, jedes Stück nach seiner Bedeutung abgelegt, zur Frage werden die nächstliegenden Stücke herausgesucht und der Frage vorangestellt. Dieser eine Text geht an das Modell.
Der Weg vom Handbuch zur Antwort. Das Modell bekommt am Ende nur einen Text, in dem die passenden Stellen vor der Frage stehen.

Der vierte Schritt ist der, an dem es klick macht. Es passiert nichts Geheimnisvolles: Die gefundenen Stellen werden Ihrer Frage einfach vorangestellt. Für das Modell ist das ein einziger fortlaufender Text, genau wie in Wie ein Sprachmodell antwortet beschrieben. Es weiß nicht, dass etwas gesucht wurde. Es sieht nur, dass da etwas steht.

Naheliegende Frage an dieser Stelle: Ist das nicht dasselbe, wie eine Datei in den Chat zu ziehen? Nein. Eine hochgeladene Datei geht vollständig ins Fenster, mit allem, was darin steht. RAG sucht vorher und legt nur die passenden Stellen bei. Bei einer Seite ist der Unterschied gleichgültig. Bei vierhundert Seiten entscheidet er darüber, ob es überhaupt geht, denn so viel passt nicht nebeneinander. Dazwischen liegen Projekte, in denen Sie Dateien dauerhaft hinterlegen: Die gehen bei jeder Frage erneut mit. Wie viel gleichzeitig Platz hat, steht in Das Kontextfenster.

Wie eine Suche nach Bedeutung funktioniert

Bleibt die Frage, wie das System weiß, welche Stücke passen. Nicht über Wörter. Wer nur nach Wörtern sucht, findet zur Frage „Was bekomme ich, wenn ich mit dem eigenen Auto fahre?" nichts, solange im Handbuch „Kilometergeld" steht.

Stattdessen bekommt jedes Stück eine lange Reihe von Zahlen, die festhält, worum es darin geht. Stücke mit ähnlichem Inhalt bekommen ähnliche Reihen. Die Frage bekommt ebenfalls eine solche Reihe, und gesucht wird das, was am nächsten liegt. Diese Zahlenreihen sind dieselbe Sache, die im Artikel Token schon einmal vorkam: Bedeutung als Zahlen, weil sich mit Zahlen rechnen lässt und mit Wörtern nicht.

Probieren Sie es aus

Fünf Fragen an ein erfundenes Mitarbeiterhandbuch. Achten Sie darauf, dass in den Fragen andere Wörter stehen als in den Dokumenten. Und achten Sie auf die letzte.

Wählen Sie eine Frage

Schritt 3 · Suchen

Jedes Stück im Handbuch wird mit der Frage verglichen, sortiert nach Nähe:

Handbuch, Abschnitt 4.2Fahrten mit dem eigenen Wagen werden mit 0,30 Euro je Kilometer erstattet. Der Antrag läuft über das Formular R-14 an die Buchhaltung, spätestens einen Monat nach der Fahrt.81 %
Handbuch, Abschnitt 6.3Anschaffungen bis 500 Euro genehmigt die Teamleitung. Darüber entscheidet die Bereichsleitung, ab 5.000 Euro die Geschäftsführung.22 %
Handbuch, Abschnitt 5.1Mobiles Arbeiten ist an bis zu drei Tagen je Woche möglich. Die Anwesenheit an Dienstagen bleibt für alle verbindlich.19 %
Handbuch, Abschnitt 2.1Der Urlaubsantrag wird spätestens vier Wochen vor Antritt eingetragen. Bei Zeiträumen von mehr als zwei Wochen ist zusätzlich die Bereichsleitung zu beteiligen.14 %
Handbuch, Abschnitt 2.4Die Arbeitsunfähigkeit ist am ersten Tag vor Arbeitsbeginn telefonisch im Sekretariat zu melden. Ab dem vierten Tag ist eine Bescheinigung vorzulegen.11 %
Richtlinie KI, Abschnitt 3Personenbezogene Daten und Unterlagen mit Kundenbezug dürfen nicht in frei zugängliche KI-Werkzeuge eingegeben werden. Für den dienstlichen Einsatz steht der freigegebene Zugang bereit.9 %

Schritt 4 · Beilegen

Das ist der Text, der beim Modell ankommt. Ein einziger Text, mehr sieht es nicht.

Nutze die folgenden Auszüge aus dem Handbuch:

[Handbuch, Abschnitt 4.2]
Fahrten mit dem eigenen Wagen werden mit 0,30 Euro je Kilometer erstattet. Der Antrag läuft über das Formular R-14 an die Buchhaltung, spätestens einen Monat nach der Fahrt.

Frage:
Ich muss morgen mit dem Auto zu einem Kunden. Bekomme ich dafür etwas?

In der Frage steht weder „Reisekosten“ noch „Kilometer“. Gefunden wird das Stück trotzdem, weil nach Bedeutung gesucht wird und nicht nach Wörtern. Die Prozentwerte sind für diese Vorführung hinterlegt, damit die Seite ohne einen fremden Dienst auskommt. In einem echten System entstehen sie aus dem Vergleich der Zahlenreihen, die die Bedeutung festhalten.

Warum das kein Training ist

Der Unterschied ist der zwischen etwas wissen und etwas nachschlagen, und im Betrieb hängt daran mehr, als es zunächst klingt.

Zwei Wege im Vergleich. Links das Training: Die Dokumente fließen in das Modell hinein und sind danach nicht mehr einzeln herauszulösen. Rechts das Nachschlagen: Die Dokumente bleiben liegen und werden dem Modell zur Frage hingereicht.
Beim Training verschwinden die Dokumente im Modell. Beim Nachschlagen bleiben sie liegen, und deshalb lässt sich sagen, woher eine Aussage stammt.

Drei Folgen, die den Ausschlag geben:

Ein neues Dokument wirkt sofort. Ablegen, fertig. Kein Training, kein Wartefenster, keine Kosten für einen weiteren Durchlauf.

Ein gelöschtes Dokument ist wirklich weg. Weil nichts davon im Modell steckt, verschwindet mit der Datei auch die Antwort. Bei einem trainierten Modell ginge das nicht ohne Weiteres.

Die Quelle lässt sich nennen. Das System weiß, welche Stellen es beigelegt hat, und kann sie ausweisen. Damit wird aus einer Behauptung eine überprüfbare Aussage, und das ist in einem Haus mit Nachweispflichten der eigentliche Gewinn.

Training ist deshalb nicht grundsätzlich falsch, es beantwortet nur eine andere Frage. Es lohnt sich, wenn dem Modell nicht Wissen fehlt, sondern eine bestimmte Art zu antworten.

Wo es schiefgeht

Fast immer beim Suchen und fast nie beim Antworten. Drei Fälle sind die häufigsten.

Der Schnitt trennt, was zusammengehört. Dokumente werden in Stücke geteilt, und wenn die Grenze mitten durch eine Regel läuft, enthält kein Stück mehr die ganze Regel. Ziehen Sie einmal am Regler:

240 Zeichen je Stück
Stück 1, 240 ZeichenAbschnitt 6.3, Beschaffung. Anschaffungen werden über das Formular B-2 beantragt. Das Formular liegt im Intranet unter Vorlagen und wird von der antragstellenden Person vollständig ausgefüllt. Anschaffungen bis 500 Euro genehmigt die Teamle
Stück 2, 222 Zeichenitung. Darüber entscheidet die Bereichsleitung, ab 5.000 Euro die Geschäftsführung. Die Beschaffung erfolgt ausschließlich über die im Rahmenvertrag genannten Lieferanten. Abweichungen sind vorher schriftlich zu begründen.

Die entscheidende Stelle ist auf zwei Stücke verteilt. Wer nach der Grenze von 500 Euro fragt, bekommt ein Stück geliefert, in dem nur die Hälfte der Regel steht.

Hier wird wirklich geschnitten, nichts daran ist nachgestellt. Hervorgehoben ist die Stelle, die zusammen gelesen werden muss. In der Praxis lässt man die Stücke deshalb ein Stück weit überlappen, damit eine Regel nicht an der Schnittkante zerbricht.

Die Ablage ist unaufgeräumt. Liegen drei Fassungen derselben Richtlinie nebeneinander, findet das System alle drei und weiß nicht, welche gilt. RAG heilt keine unordentliche Ablage, es macht sie sichtbar.

Es passt schlicht nichts. Das ist der Fall aus der letzten Frage im Rechner oben. Ein schlecht eingerichtetes System legt trotzdem die zwei besten Stücke bei, und das Modell baut daraus eine Antwort. Woher die dann kommt, steht in Warum KI halluziniert.

Was Sie dafür brauchen

Drei Dinge, und keines davon ist Technik.

Ordnung. Eine gültige Fassung je Regel, veraltete Stände heraus.

Rechte. Das ist der Punkt, der am häufigsten übersehen wird. Die Suche muss dieselben Zugriffsrechte kennen wie die Ablage, sonst beantwortet sie einer Aushilfe Fragen aus der Personalakte. Wer das nachträglich einbaut, baut es zweimal.

Pflege. Jemand muss zuständig sein, wenn eine Antwort falsch ist, und das Dokument nachziehen, nicht das System.

Ein letzter Hinweis aus der Praxis: Was gefunden wurde, sollte am Anfang oder am Ende des Textes stehen, den das Modell bekommt, nicht in der Mitte eines langen Blocks. Warum, steht in Das Kontextfenster.

Woran Sie denken sollten

Gefunden wird nur, was zur Frage passt. Steht die Antwort in keinem Dokument, erfindet das Modell sie trotzdem, sofern man es nicht ausdrücklich daran hindert. Der Satz „Wenn die beigelegten Stellen die Frage nicht beantworten, sage das" gehört deshalb in jede solche Einrichtung, und zwar von Anfang an.

Quellen

  1. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks · Lewis u. a., 2020Der Aufsatz, aus dem das Verfahren und sein Name stammen.
  2. Lost in the Middle: How Language Models Use Long Contexts · Liu u. a., 2024Warum es zählt, an welcher Stelle die gefundenen Stücke beigelegt werden.