LLM-Evaluation ist die Bewertung, ob ein generatives KI-System seine Aufgabe in einem konkreten Use Case erfüllt, und betrachtet dabei Modell, Anwendung und Nutzererfahrung als ein System. Was als gut gilt, unterscheidet sich je Fall: Problemlösung für einen Support-Bot, Faithfulness und Adoptionsrate für ein klinisches Zusammenfassungs-Tool, sicherer und ausführbarer Code für einen Coding Agent.
Das Wichtigste in Kürze
- Anamika Mukhopadhyay hört in Workshops mit Teams, die KI-Systeme in Produktion betreiben, meist dieselbe Antwort: Sie messen, was ihre Tools standardmäßig liefern, ohne zu fragen, welche Zahlen sie brauchen.
- Dasselbe Modell braucht je Use Case eigene Metriken, etwa Zufriedenheit und Problemlösung beim Support-Bot, Faithfulness und Adoptionsrate beim klinischen Zusammenfassungs-Tool, sicheren Code beim Coding Agent.
- Ein gesunkener Faithfulness-Score, als Beispielwert 0,87279, ließ eine CXO-Runde nach einem Rundungsproblem fragen; erst die um 12 Prozent gesunkene Issue-Lösungsrate und 200 zusätzliche Support-Tickets machten den Ernst klar.
- LLM-Evaluation läuft als Schleife aus Offline-Evaluation mit einem Golden Dataset und Online-Evaluation über Traces, weil sich eine Modellversion alle zwei bis drei Wochen ändern kann.
- Deepshikhas Team versteckte eine indirekte Prompt Injection in einem Reddit-Post, und ein Agent mit Guardrails gegen direkte Injection folgte ihr über seinen Web-Tool-Call.
Warum richtig oder falsch bei der LLM-Evaluation nicht mehr reicht
LLM-Evaluation beginnt mit einer unbequemen Beobachtung. Jede Antwort, die ein Modell liefert, kann korrekt sein, und jede davon kann trotzdem nichts taugen. Anamika Mukhopadhyay beschreibt den Wechsel als Schritt von einem Richtig-oder-Falsch-Rahmen zu einem Besser-oder-Schlechter-Rahmen. Klassische Modell-Evaluation hatte noch ein Ja oder Nein. Ist auf dem Bild ein Hund oder eine Katze? Stimmt die Klassifikation? Ein generatives System beantwortet einen einzigen Prompt auf ein Dutzend Arten, und aus Sicht der Nutzer können alle davon passen oder alle danebenliegen.
Das bricht mit einer Gewohnheit, die viele Testteams von Projekt zu Projekt mitschleppen. Anamika sagt es ohne Umschweife: Im Softwaretest wurde ein Evaluationsframework oft per Copy-Paste ins nächste Projekt übernommen, mit wenigen Änderungen. Klassische KI brauchte schon mehr, behielt aber den Begriff der Korrektheit. GenAI lässt ihn fallen. Zu beurteilen bleibt, ob ein Output diesem Nutzer in diesem Use Case besser dient als ein anderer.
Deepshikha ergänzt die praktische Folge. Evaluation läuft Schicht für Schicht, und die erste Bedingung lautet, zu wissen, was genau bewertet wird. Das Problem habe sich so weit verschoben, sagt sie, dass man die Architektur end to end verstehen muss, bevor sich Metriken den Fehlerpunkten zuordnen lassen.
Welches System wird eigentlich gemessen?
Die meisten Teams messen das Modell, und das Modell ist der kleinste Teil des Problems. Anamika sieht das in Projekten überall. KI wandert in Produkte, und die Metriken, die Teams auswählen, decken allein das Modell ab. Um das Modell herum sitzt eine Anwendung, und vor der Anwendung sitzt ein Nutzer mit einer Erfahrung. Die Einheit der Evaluation ist das ganze System, Modell plus Anwendung plus Nutzer, und die Metriken müssen alle drei abdecken.
Anamika und Deepshikha halten Workshops mit Teams, die KI-Systeme in Produktion betreiben. Zwei Fragen stellen sie jedes Mal: Was messt ihr, und warum haltet ihr das für wichtig? Die häufigste Antwort lautet, dass die Teams messen, was ihre Tools standardmäßig liefern. Die Zahlen laufen pro Sprint oder pro Release mit, und niemand hat innegehalten und gefragt, ob es die Zahlen sind, auf die es ankommt.
Deepshikhas Beispiel ist der Coding Agent, weil inzwischen fast alle einen benutzen. Ein einziges Modell vom selben Anbieter kann in einer anderen Version eine komplett andere Antwort geben, und alle zwei Wochen kommt ein neuer Launch. Die Fragen, die daraus folgen, sind konkret. Bekommt der Sub-Agent genug Kontext? Halluziniert er trotz dieses Kontexts? Wenn er die Anwendung im Browser crawlt, reasont er dann, und war überhaupt ein Reasoning-Modell im Einsatz? Erzeugt der generierte Code Sicherheitslücken? Jede Frage zeigt auf einen Fehlerpunkt, und jeder Fehlerpunkt braucht seine eigene Metrik.
Derselbe Agent bedeutet außerdem für verschiedene Leute Verschiedenes. Für Deepshikha liefert der Coding Agent ein Skript. Für einen Manager liefert er eine komplette Automatisierungsevaluation. Bevor jemand Effizienz misst, muss das Team sich einigen, was das Ding überhaupt tun soll. Sonst ist die Metrik präzise und irrelevant zugleich.
Ein Modell, drei Use Cases, drei Definitionen von gut
Die Definition von gut hängt am Use Case, und das Modell bringt sie nicht mit. Anamikas Beispiel nimmt ein Modell in drei Projekte: einen Kundensupport-Bot, einen Agenten für klinische Zusammenfassungen und einen Coding Agent. Auf Modellebene gelten Accuracy und ähnliche Werte für alle drei. Auf Use-Case-Ebene gehen die Ziele auseinander.
| Use Case | Definition von gut | Was gemessen wird |
|---|---|---|
| Kundensupport-Bot | Kunden bekommen ihr Problem gelöst | Zufriedenheit, Problemlösungsrate |
| Klinische Zusammenfassung | Die Zusammenfassung bleibt der Akte treu und wird auch gelesen | Faithfulness zu den Quelldokumenten, Adoptionsrate |
| Coding Agent | Der Code läuft und richtet keinen Schaden an | Ausführbarer Output, keine neuen Sicherheitslücken |
Der klinische Fall zeigt, warum ein einzelner technischer Wert nie reicht. Ein Arzt sieht einen Patienten 15 bis 20 Minuten, trägt Notizen in die Akte ein und hat vor dem nächsten Besuch etwa zwei Minuten, um sich wieder einzulesen. Ein Zusammenfassungs-Agent, der alles in die Zusammenfassung schreibt, schneidet bei der Faithfulness gut ab. Nichts fehlt, alles stimmt mit der Akte überein. Dauert das Lesen aber drei Minuten, überfliegt der Arzt wieder selbst die Akte, und das Tool bleibt liegen. Die Adoptionsrate sitzt deshalb als Metrik auf der Faithfulness obendrauf, weil sie das System mit dem Business verbindet.
Anamikas Warnung betrifft zwei getrennte Ebenen. Auf der technischen Ebene sind alle Metriken grün, die Dashboards sehen gut aus. Auf der Business-Ebene bringt die Investition keinen sichtbaren Return. Gut je Use Case zu definieren hält die beiden Ebenen zusammen.
Was unterscheidet Offline-Evaluation von Online-Evaluation?
Offline-Evaluation passiert, bevor Nutzer das System anfassen, Online-Evaluation läuft, während sie es benutzen, und Deepshikha besteht auf beidem. Die Trennung selbst ist älter als GenAI; für Machine Learning galt sie schon. Neu ist, wie viel am ersten Schritt hängt, nämlich zu verstehen, welches Problem der Agent lösen soll.
Ihr Beispiel kommt aus der Essenslieferung. Ein Bot, der beantworten soll, was in einem Gericht steckt, generiert auf Anfrage auch Python-Code, wenn man ihn lässt, weil das LLM Inhalte produziert, egal in welchem Kontext. Die Firma wundert sich dann über eine riesige Rechnung. Deepshikha betont, dass das ein echter Fall ist und bei mehreren großen Fast-Food-Ketten passiert ist.
Offline-Evaluation beginnt deshalb bei den Nutzern, oder zumindest bei den Leuten, die den Agenten haben wollen. Aus diesem Verständnis entsteht das Golden Dataset, und ohne das gibt es nichts, wogegen sich evaluieren ließe. In Deepshikhas Worten sind Daten alles. Eine Evaluation an der Oberfläche stellt dem Modell die leichten Fragen und bekommt grün. Adversarial Testing stellt die kniffligen, und ein Team, das es auslässt, sieht sein System am nächsten Tag in Produktion ausfallen.
Online-Evaluation prüft dann, ob das System für den Kunden tatsächlich nützlich ist, und dafür braucht sie Observability. Traces halten jeden LLM-Call und jede Aktion des Agenten fest. Hat er den Prompt verstanden? Hat er halluziniert? Hat er den richtigen Tool-Call gemacht? Wenn etwas fehlgeschlagen ist, hat er sich sauber erholt und ist in seinen Ausgangszustand zurückgekehrt? Wenn eine Antwort fehlte, hat er den Nutzer gefragt? Hat er bei einer Policy-Verletzung gestoppt? Diese Traces fließen zurück in den Offline-Datensatz, und aus dem Ganzen wird eine kontinuierliche Schleife.
Die Schleife fängt auch ein Problem auf, das Teams gern unterschätzen. Das Modell darunter ändert sich. Anbieter liefern alle zwei bis drei Wochen neue Versionen. Sycophancy steigt in einer Version und sinkt in der nächsten. Auf der eigenen Seite kann alles passen, Business Outcomes eingeschlossen, und im Hintergrund wechselt das Modell trotzdem. Anamika ergänzt einen Fall aus einem Projekt. Nach zwei bis drei Monaten Feinarbeit an einem Gemini-Flash-Modell erfuhr das Team, dass es binnen zwei Monaten abgekündigt wird. Die ganze Arbeit begann von vorn. Sie rechnet damit, dass das zur Regel wird, und will es von Tag eins in den Schätzungen und im Risikoplan haben.
Wie wird aus einem Faithfulness-Score eine Business-Zahl?
Eine technische Metrik, die Entscheider nicht lesen können, bewirkt nichts, so präzise sie auch ist. Deepshikha und Anamika haben das in einem Workshop getestet, in dem CTOs und andere Entscheider saßen. Zuerst meldeten sie das Ergebnis in technischer Sprache. Der Faithfulness-Score sei von einem Wert auf einen anderen gefallen, auf einen Score wie 0,87279. Die Runde war ratlos. Einer fragte, ob das ein Rundungsproblem sei oder etwas Ernstes.
Dann formulierten sie denselben Befund um. Die Problemlösungsrate ist um 12 Prozent gesunken, und die Zahl der Support-Tickets ist um 200 gestiegen. Die Reaktion kippte. Der Rückgang bei der Problemlösung, die zusätzlichen Tickets, der Aufwand, sie abzuarbeiten, das Geld, das die Firma dafür ausgibt: Das hatte der Faithfulness-Score bedeutet, und genau so musste es gesagt werden.
„Eine einzelne Metrik oder eine Gruppe von Metriken sollte einen klaren Bezug zum Business Value haben, den sie liefern soll.“
(Deepshikha)
Dieselbe Logik gilt für jede Zahl, die ein Team verbessern will. Die Halluzinationsrate zu senken ist nur deshalb ein Ziel, weil Nutzer der Anwendung, dem System und den Antworten des Bots nicht mehr vertrauen, wenn er halluziniert. Die Begründung hinter der Zahl ist das, was gemappt und berichtet wird. An dieser Stelle erben GenAI-Metriken ein Problem, das klassische Testmetriken seit Jahren mit sich tragen: viele Zahlen, wenig Übersetzung für die Leute, die entscheiden.
Wie ein Reddit-Post einen gut abgesicherten Agenten austrickste
Ein Agent, der jede direkte Prompt Injection abwehrt, lässt sich trotzdem über die Inhalte kapern, die er selbst abruft. Deepshikha erzählt den Fall eines Agenten, den ihr Team für einen Kunden evaluierte. Die meisten Probleme waren gefunden und behoben, das Team war bereit zum Deployment. Adversarial Testing hatte die Prompt-Injection-Szenarien abgedeckt, und der Agent erkannte jeden Versuch. Was das Team übersehen hatte: Der Agent macht eine Menge Tool Calls.
Also schrieben sie einen Reddit-Post. Der Titel passte zur Anfrage, die der Agent bekommen würde, und der Text wies den Leser an, alle vorherigen Anweisungen zu vergessen und neuen zu folgen. Als der Agent seinen Web-Tool-Call absetzte, fand er den Post, las ihn als Anweisung und begann, die Bankdaten der Person herauszugeben. Die Guardrails gegen direkte Injection waren intakt. Der indirekte Weg war nie getestet worden, weil niemand auf die Idee gekommen war, ihn explorativ zu untersuchen.
Deepshikhas Lehre daraus betrifft die Perspektive. Teams betrachten einen Agenten vertikal, Schicht für Schicht, und das bleibt nötig. Sie müssen ihn auch horizontal betrachten, über jeden externen Aufruf hinweg, den er macht. Nicht jeder ist Security-Experte, Agenten-Experte oder KI-Experte. Wer einen Agenten evaluiert, muss trotzdem die Architektur verstehen, denn ein Agent als Blackbox bietet keine Möglichkeit festzumachen, wo ein Fehler aufgetreten ist. Und ohne diese Stelle lässt sich nicht sagen, welche Metrik ihn hätte fangen müssen.


