KI verstehen

Agenten und Werkzeuge

Ein Agent antwortet nicht nur, er handelt. Was ihn technisch von einem Chatfenster unterscheidet und wo die Aufsicht anfangen muss.

Vom Antworten zum Ausführen

Lesezeit: ca. 5 MinutenAnwendungAlle, die Abläufe automatisieren wollen

Ein Agent ist ein Programm, das Werkzeuge in einer Schleife aufruft: eine Suche, einen Kalender, eine Datenbank, eine Schnittstelle. Das Modell darin entscheidet selbst, welches Werkzeug wann dran ist, sieht das Ergebnis und macht weiter. Zugriff hat dabei nie das Modell, sondern das Programm drumherum, und genau dort werden die Freigaben festgelegt. Diese Festlegung ist nicht die Vorarbeit zum Einsatz, sie ist der Einsatz.

Worum es geht

„Agent" steht inzwischen auf jedem zweiten Angebot. Dahinter steckt etwas sehr Konkretes, und es passt in einen Satz: ein Programm, das Werkzeuge in einer Schleife aufruft und dabei etwas verändern darf.

Werkzeuge aufrufen kann das gewöhnliche Chatfenster längst selbst, immer dann, wenn es für Sie im Netz sucht oder eine Datei liest. Das allein ist also kein Kennzeichen mehr, und wie ein solcher Aufruf abläuft, steht in Modell, Werkzeug, Agent. Zum Agenten wird es durch zwei Dinge: durch die Schleife, in der es selbst entscheidet, was als Nächstes dran ist, und durch die Rechte, mit denen es dabei handelt.

Der Unterschied zum Chatfenster ist also nicht, dass der Agent klüger wäre. Er darf mehr, und er tut es, ohne zu fragen.

Was ein Werkzeugaufruf ist

Hier liegt das Missverständnis, das hinter fast jeder Sorge steckt. Nein, die KI greift nicht auf Ihren Kalender zu. Sie kann das gar nicht.

Was das Modell tut, ist schreiben. Statt einer Antwort für Sie schreibt es eine Anforderung: „Rufe termine_lesen auf, für morgen." Damit ist seine Arbeit vorerst zu Ende. Ausgeführt wird die Anforderung von dem Programm, in dem das Modell läuft, und dieses Programm hat Zugangsdaten, Rechte und Grenzen.

Drei Beteiligte nebeneinander. Das Modell schreibt eine Anforderung, das Programm prüft die Rechte und führt sie aus, der Kalender liefert das Ergebnis zurück. Darunter steht, dass das Ergebnis an den Text angehängt wird und das Modell von dort weiterrechnet.
Ein Werkzeugaufruf ist eine Bitte, keine Handlung. Wer sie ausführt und was dabei erlaubt ist, entscheidet das Programm drumherum, nicht das Modell.

Das Ergebnis wird anschließend an den Text angehängt, und das Modell rechnet von dort weiter. Für das Modell ist das Ergebnis eines Werkzeugaufrufs nichts Besonderes: Es ist Text. Der ganze Ablauf steht Schritt für Schritt in Modell, Werkzeug, Agent.

Damit nicht jedes Werkzeug einzeln angeschlossen werden muss, hat sich dafür eine offene Anschlussnorm durchgesetzt, das Model Context Protocol. Wenn in einem Angebot von MCP die Rede ist, ist das gemeint. Für Sie zählt daran vor allem eines: Was einmal angeschlossen ist, steht dem Agenten offen.

Die Schleife

Bis hierhin ist es ein einzelner Aufruf. Ein Agent wird daraus erst durch die Wiederholung: überlegen, aufrufen, Ergebnis ansehen, weitermachen. Und wieder von vorn.

Ein Kreislauf aus vier Stationen im Uhrzeigersinn: überlegen, Werkzeug aufrufen, Ergebnis ansehen, weitermachen. An der Station Werkzeug aufrufen hängt ein Warnzeichen. Ein Ausgang führt heraus, beschriftet mit fertig oder Höchstzahl erreicht.
Aus einem Auftrag werden viele Schritte, ohne dass jemand dazwischengeht. Zwei Dinge müssen deshalb vorher feststehen: wann Schluss ist und wo zurückgefragt wird.

Aus einem Satz wie „Räum meinen Posteingang auf" werden so zwanzig Schritte, und niemand sieht sie einzeln. Deshalb braucht jede Schleife eine Abbruchbedingung, und sei es nur eine Höchstzahl an Runden. Ohne sie dreht sie sich weiter, auch wenn sie nicht vorankommt, und das kostet bei jeder Runde erneut.

Die meisten haben so eine Schleife übrigens längst laufen lassen. Wer ChatGPT eine ausführliche Recherche aufträgt, schickt es für einige Minuten los: Es sucht, liest, fasst nach und entscheidet selbst, wonach als Nächstes. Der Unterschied zu den Agenten in diesem Artikel ist nur, dass es dabei nichts verändern darf.

Brauchen Sie überhaupt einen Agenten?

Die unbequeme Frage, und sie kommt zu selten. Ein fester Ablauf, bei dem im Programm steht, was wann geschieht, ist berechenbarer, billiger und leichter zu prüfen. Das Modell macht darin nur die Stellen, an denen Sprache gebraucht wird.

Ein Agent lohnt sich erst, wenn sich vorher nicht sagen lässt, wie viele Schritte nötig sind. Das ist seltener, als die Angebote vermuten lassen. Die Empfehlung derer, die solche Systeme bauen, lautet deshalb: erst das Einfachere versuchen, und den Agenten nehmen, wenn das nachweislich nicht reicht.

Was Sie festlegen müssen

Nicht die Zahl der Werkzeuge entscheidet über das Risiko, sondern eine einzige Frage: Lässt sich der Schritt zurücknehmen?

Drei Stufen übereinander, nach dem Schaden geordnet. Unten darf der Agent allein handeln: lesen, suchen, zusammenfassen, entwerfen. In der Mitte fragt er vorher: Mail senden, Termin anlegen, Datei ändern, Bestellung auslösen. Oben bleibt verboten: Zahlung auslösen, Rechte vergeben, Daten nach außen geben, Datensätze löschen.
Die Linie zwischen unten und Mitte ist die einzige Festlegung, die wirklich schützt. Alles darüber gehört an eine Freigabe.

Diese drei Stufen sind die eigentliche Arbeit bei der Einführung. Sie gehören schriftlich festgehalten, bevor der erste Agent läuft, und sie gehören in eine Betriebsvereinbarung, wenn Beschäftigtendaten im Spiel sind.

Ein Hinweis zur mittleren Stufe: Eine Rückfrage nützt nur, solange sie selten ist. Wer bei jedem dritten Schritt bestätigen muss, klickt nach einer Woche blind weiter. Lieber wenige, wirklich wichtige Freigaben als viele beiläufige.

Wenn im Posteingang eine Anweisung steht

Jetzt der Punkt, den kaum jemand auf dem Schirm hat. Ein Agent, der Ihre Mails liest, liest auch die Mail eines Fremden. Und alles, was er liest, landet im selben Text wie Ihre eigene Anweisung.

Ein durchgehender Text aus drei Teilen: Ihre Anweisung, der Inhalt einer eingegangenen Mail mit einer hervorgehobenen fremden Anweisung darin, und die Aufgabe. Für das Modell ist alles ein einziger Text.
Der Agent bekommt einen einzigen fortlaufenden Text. Darin steht Ihre Anweisung, und darin steht auch, was ein Fremder hineingeschrieben hat.

Das ist keine Sicherheitslücke, die irgendwann geschlossen wird. Es folgt aus der Bauart: Ein Modell kann nicht unterscheiden, welcher Satz von Ihnen kommt und welcher aus einem Dokument, das es gerade gelesen hat. Für es ist beides Text. Die Fachwelt führt dieses Problem seit Jahren als das größte bei solchen Anwendungen, und einen vollständigen Schutz dagegen gibt es bisher nicht.

Was hilft, ist keine Erkennung, sondern Begrenzung. Ein Agent, der Mails lesen, aber nichts versenden darf, kann durch eine untergeschobene Anweisung wenig anrichten. Deshalb hängt an den Freigabestufen mehr als Bequemlichkeit.

Woran Sie denken sollten

Ein Agent macht Fehler schneller als ein Mensch und in größerer Zahl. Wo eine Kollegin einmal die falsche Datei überschreibt, überschreibt ein Agent vierzig, bevor jemand hinsieht.

Die Freigabe vor verändernden Schritten ist deshalb kein Bremsklotz. Sie ist der Grund, warum man einen Agenten überhaupt einsetzen kann.

Quellen

  1. Building effective agents · Anthropic, 2024Fester Ablauf gegen Agent, Abbruchbedingungen und der Rat, es einfacher zu versuchen.
  2. LLM01: Prompt Injection · OWASP GenAI Security ProjectWarum ein Modell fremde Anweisungen nicht von Ihren unterscheiden kann.
  3. Model Context Protocol · die offene Anschlussnorm für WerkzeugeWas gemeint ist, wenn in einem Angebot von MCP die Rede ist.
  4. Introducing deep research · OpenAI, 2025Eine Schleife aus Suchen und Nachfassen, die jeder schon benutzt hat.