Testen von KI-Agenten: Prinzipien, Kriterien, Metriken

Was heißt Testen von KI-Agenten?

Testen von KI-Agenten heißt, ein System zu prüfen, das eigenständig plant, Werkzeuge aufruft und bei gleicher Eingabe unterschiedliche Lösungswege nehmen kann. Ein Agent ist mehr als ein Sprachmodell mit Prompt: Er verfolgt ein Ziel über mehrere Schritte, entscheidet unterwegs, welche Aktion als nächste dran ist, ruft APIs, Datenbanken oder andere Systeme auf und reagiert auf deren Antworten. Genau diese Eigenständigkeit macht ihn nützlich, und genau sie macht ihn zum anspruchsvollsten Testobjekt, das die Disziplin bisher kennt.

Das Testobjekt ist dabei nicht der einzelne Output, sondern das Verhalten: die Kette aus Planung, Werkzeugnutzung und Entscheidungen, über viele Läufe hinweg. Wer einen Agenten abnimmt wie ein Formular mit drei Eingabefeldern, prüft am Risiko vorbei.

Warum klassische Testfälle nicht ausreichen

Klassische Testfälle vergleichen ein Ergebnis mit einem erwarteten Sollwert; bei einem KI-Agenten existiert dieser eine Sollwert oft nicht. Derselbe Auftrag kann auf drei verschiedenen Wegen korrekt erledigt werden, und derselbe Weg kann heute funktionieren und morgen scheitern. Ein grüner Testlauf beweist deshalb wenig, und ein roter ist nicht automatisch ein Fehler.

Dazu kommt der Eingaberaum. Ein Agent, der mit Menschen in natürlicher Sprache arbeitet, bekommt Umformulierungen, Tippfehler, fehlende Angaben, widersprüchliche Wünsche. Niemand kann diesen Raum mit aufgezählten Testfällen abdecken.

Die Konsequenz ist ein Wechsel der Denkweise: Evaluierung statt Assertion. Zuerst wird festgelegt, was immer gelten muss, unabhängig vom Lösungsweg. Solche Invarianten sind hart prüfbar: keine Aktion ohne Berechtigung, keine erfundenen Preise, keine Auskunft außerhalb des erlaubten Rahmens. Alles darüber hinaus, also wie gut der Agent seine Aufgabe löst, wird statistisch bewertet, über viele Läufe und mit definierten Schwellenwerten. Wie sich Systeme ohne eindeutiges Testorakel trotzdem systematisch prüfen lassen, zeigt auch der metamorphe Test: Statt einzelner Sollwerte werden Beziehungen zwischen verwandten Eingaben geprüft.

Testen von Agenten oder Testen mit Agenten?

Testen von Agenten und Testen mit Agenten sind zwei verschiedene Disziplinen, die derzeit unter demselben Begriff Agentic Testing laufen. Beim Testen mit Agenten ist der Agent das Werkzeug: Er generiert Testfälle, führt Tests aus, repariert Testskripte, ein Kapitel der Testautomatisierung. Beim Testen von Agenten ist der Agent das Testobjekt, und um diese Disziplin geht es auf dieser Seite. Wer nach Agentic Testing sucht, sollte zuerst klären, welche der beiden Richtungen gemeint ist; die Antworten haben wenig miteinander zu tun.

Prinzipien für das Testen von KI-Agenten

Sechs Prinzipien tragen das Testen von KI-Agenten. Sie ersetzen kein Testhandwerk, sie ordnen es neu.

1. Verhalten statt Einzelergebnis bewerten. Bewertet wird der Raum der möglichen Ausgaben, nicht die eine Ausgabe. Ein Testfall beschreibt eine Aufgabe samt akzeptablem Verhaltenskorridor, nicht einen exakten Zielzustand.
2. Invarianten vor Qualität. Erst wird geprüft, was nie passieren darf: unautorisierte Aktionen, verletzte Geschäftsregeln, Ausgaben außerhalb des erlaubten Rahmens. Diese Guardrails sind deterministisch prüfbar und gehören in jeden Lauf. Wie gut die Aufgabe gelöst wird, ist die zweite Frage, nie die erste.
3. Wiederholung ist Teil des Testfalls. Ein einzelner Lauf ist eine Stichprobe, keine Aussage. Erst die Verteilung über viele Läufe zeigt, ob ein Ergebnis Können war oder Zufall.
4. Werkzeugaufrufe sind eine eigene Prüfebene. Welche API der Agent mit welchen Parametern aufruft, ist beobachtbar und deterministisch bewertbar. Auf dieser Ebene funktioniert klassisches Testen weiterhin, und sie ist die stabilste Basis für Regressionsprüfungen.
5. Beobachtbarkeit vor Bewertung. Ohne Zugriff auf Plan, Zwischenschritte und Werkzeugaufrufe lässt sich ein Fehlverhalten feststellen, aber nicht diagnostizieren. Traces sind für Agenten, was Logs für Server sind.
6. Automatische Bewertung an Menschen kalibrieren. Wenn ein Sprachmodell die Antworten des Agenten bewertet (LLM-as-a-Judge), muss diese Bewertung regelmäßig gegen menschliches Urteil geprüft werden. Ein unkalibrierter Richter misst präzise am Ziel vorbei.

Kriterien: Was bei einem KI-Agenten geprüft wird

Die Prüfkriterien für KI-Agenten lassen sich in sechs Gruppen fassen: Aufgabenerfüllung, Regeltreue, Robustheit, Werkzeugnutzung, Effizienz und Transparenz.

Aufgabenerfüllung fragt, ob der Agent das fachliche Ziel erreicht, und zwar vollständig: Eine halb stornierte Bestellung ist kein Teilerfolg, sondern ein Fehler. Regeltreue prüft die Einhaltung von Geschäftsregeln, Berechtigungen und Compliance-Vorgaben in jedem einzelnen Schritt. Robustheit misst, wie stabil der Agent bei Umformulierungen, unvollständigen Angaben und gezielten Manipulationsversuchen bleibt; dazu gehören auch adversariale Eingaben wie Prompt Injection. Werkzeugnutzung bewertet, ob der Agent die richtigen Werkzeuge mit den richtigen Parametern aufruft und mit deren Fehlern umgehen kann, etwa einem Timeout der API. Effizienz zählt Schritte, Tokens, Kosten und Latenz pro Aufgabe; ein Agent, der jede Anfrage korrekt, aber mit vierzig Werkzeugaufrufen löst, ist im Betrieb nicht tragfähig. Transparenz schließlich fragt, ob sich Entscheidungen nachvollziehen lassen und ob der Agent erkennt, wann er eine Aufgabe an einen Menschen übergeben muss.

Metriken für die Zuverlässigkeit von KI-Agenten

Die wichtigste Kennzahl eines KI-Agenten ist nicht sein bestes Ergebnis, sondern die Streuung seiner Ergebnisse. Daraus leiten sich die zentralen Metriken ab:

• Aufgabenerfolgsquote: Anteil der Läufe, in denen die Aufgabe vollständig und regelkonform gelöst wurde.
• Konsistenz (pass^k): Wahrscheinlichkeit, dass dieselbe Aufgabe alle k Wiederholungen übersteht. Der Benchmark τ-bench hat diese Metrik geprägt, und die Ergebnisse sind ernüchternd: Der beste dort getestete Agent löste in der Handels-Domäne gut 60 Prozent der Aufgaben im Einzelversuch; musste dieselbe Aufgabe achtmal in Folge gelingen, blieben rund 25 Prozent.
• Regelverletzungsrate: Verstöße gegen Invarianten und Guardrails pro Anzahl Läufe. Zielwert null, jede Verletzung wird einzeln analysiert.
• Halluzinationsrate: Anteil der Läufe mit erfundenen Fakten, Quellen oder behaupteten, aber nicht ausgeführten Aktionen.
• Werkzeug-Fehlerrate: falsche Werkzeugwahl, falsche Parameter, nicht behandelte Fehler der aufgerufenen Systeme.
• Eskalationsquote: Anteil der Fälle, in denen der Agent korrekt an einen Menschen übergibt, samt der Gegenprobe: Fälle, in denen er hätte übergeben müssen und es nicht tat.
• Kosten und Latenz pro Aufgabe: die Betriebsgrößen, an denen Agenten-Projekte in der Praxis scheitern, lange bevor die Qualität zum Problem wird.

Abnahmekriterien formulieren dann nicht mehr “alle Tests grün”, sondern Schwellenwerte auf Verteilungen: Erfolgsquote über x Prozent bei n Läufen, null Regelverletzungen, Eskalationsquote im definierten Korridor.

Vorgehen: in fünf Phasen zum belastbaren Agenten-Test

Das Vorgehen beim Testen von KI-Agenten folgt fünf Phasen: Verhalten spezifizieren, Szenarien entwerfen, Bewertung definieren, wiederholt ausführen, im Betrieb weitermessen.

1. Verhalten spezifizieren. Aufgabenumfang, Invarianten und Eskalationsregeln schriftlich festhalten. Diese Spezifikation ist die Testbasis, und sie fehlt in den meisten Agenten-Projekten komplett.
2. Szenarien entwerfen. Realistische Aufgaben aus dem Zielprozess, dazu Randfälle, unvollständige Angaben und gezielte Angriffe. Für dialogorientierte Agenten haben sich simulierte Nutzer bewährt, die ein zweites Modell spielt.
3. Bewertung definieren. Deterministische Prüfungen für Invarianten und Werkzeugaufrufe, modellbasierte Bewertung für Antwortqualität, menschliche Stichprobe zur Kalibrierung. Metamorphe Relationen ergänzen dort, wo ein Sollwert fehlt.
4. Wiederholt ausführen und messen. Jedes Szenario n-fach laufen lassen, Verteilungen statt Einzelwerte erheben, Konsistenzmetriken berechnen.
5. Im Betrieb weitermessen. Modellversionen wechseln, Prompts werden angepasst, Daten driften. Die Evaluationssuite läuft deshalb bei jeder Änderung erneut, als Regressionstest in der Pipeline, und ausgewählte Metriken laufen im Produktivbetrieb weiter.

Multi-Agenten-Systeme testen

In Multi-Agenten-Systemen entstehen die kritischen Fehler zwischen den Agenten, nicht in ihnen. Jeder einzelne Agent kann seine Rolle erfüllen, und das Gesamtsystem scheitert trotzdem: an Endlosschleifen aus gegenseitigen Aufrufen, an widersprüchlichen Zwischenständen, an Aufgaben, die in der Übergabe verloren gehen, an emergentem Verhalten, das niemand entworfen hat.

Die Prüfung braucht deshalb zwei Ebenen. Auf der Ebene des einzelnen Agenten gelten die Prinzipien und Metriken von oben. Auf der Systemebene kommen eigene Fragen dazu: Terminiert die Zusammenarbeit, oder können sich Agenten gegenseitig endlos beschäftigen? Bleiben geteilte Zustände konsistent? Ist bei jedem Zwischenschritt klar, welcher Agent verantwortlich ist? Wer den Integrationstest klassischer Systeme kennt, erkennt das Muster wieder: Die Schnittstellen sind der Ort, an dem es kracht. Nur sind die Schnittstellen hier Konversationen.

Standards und Orientierung

Einen etablierten Standard speziell für das Testen agentischer Systeme gibt es noch nicht, aber zwei Quellen geben brauchbare Orientierung. ISO/IEC 25059 erweitert das Qualitätsmodell der ISO/IEC 25010 um KI-spezifische Merkmale wie probabilistisches Verhalten, Erklärbarkeit und Fairness; das liefert ein gemeinsames Vokabular für Prüfkriterien, das auch Auditoren und Einkäufer verstehen. Der ISTQB-Lehrplan Certified Tester AI Testing (CT-AI) beschreibt in Version 2.0 Testansätze für KI-basierte Systeme einschließlich generativer KI, von Datenqualität über Modellmetriken bis zu Red Teaming.

Beides sind Landkarten, keine Kochrezepte. Welche Kriterien und Schwellenwerte für einen konkreten Agenten gelten, entscheidet der Einsatzkontext: Ein Recherche-Assistent verträgt eine andere Fehlerrate als ein Agent, der Zahlungen auslöst.

Grenzen: Was Testen bei KI-Agenten nicht leisten kann

Testen macht einen KI-Agenten nicht deterministisch; es macht sein Risiko messbar und damit entscheidbar. Ein Restrisiko bleibt immer, denn kein Szenariokatalog deckt den offenen Eingaberaum ab, und jede Modellversion verschiebt das Verhalten aufs Neue.

Der Umgang damit ist eine Architekturfrage, keine reine Testfrage: eng geschnittene Berechtigungen, Freigabeschritte für kritische Aktionen, Limits für Kosten und Reichweite, Monitoring im Betrieb. Je größer der mögliche Schaden einer einzelnen Agenten-Aktion, desto weniger darf die Qualitätsstrategie allein auf Tests vor dem Release setzen. Das ist keine Kapitulation, sondern dieselbe Logik, mit der die Branche seit Jahrzehnten mit komplexen Systemen umgeht: prüfen, was prüfbar ist, und begrenzen, was nicht.

Unterstützung beim Testen von KI-Agenten

Richard Seidl ist Berater und Coach für Softwarequalität und Softwaretest mit Sitz in Essen und unterstützt Unternehmen im deutschsprachigen Raum beim Testen von KI-Systemen und KI-Agenten: von der Teststrategie über Prüfkriterien und Metriken bis zum Aufbau der Evaluationspipeline. Er arbeitet anbieterneutral, verkauft kein Testwerkzeug und ist an kein Framework gebunden. Die Grundlage sind mehr als 25 Jahre im Softwaretest, acht Fachbücher und die Arbeit mit Teams vom Mittelstand bis zum Konzern; 2025 wurde er mit dem Deutschen Preis für Software-Qualität ausgezeichnet.

Der Einstieg ist meist klein: ein Workshop, in dem Invarianten, Kriterien und erste Metriken für einen konkreten Agenten entstehen. Von dort wächst die Evaluationspipeline mit dem System mit.