Ein agentenbasiertes System ist ein Netzwerk aus KI-Agenten, die sich autonom aufeinander abstimmen, um ein Ziel zu erreichen, ohne dass Menschen einzelne Aufgaben zuweisen müssen. Im Gegensatz zu einem einzelnen Agenten, der auf Anfrage eine Aufgabe ausführt, wickelt ein agentisches System den gesamten Test-Workflow ab: Review der Anforderungen, Erstellung von Testfällen, Überdeckung, Automatisierung und Performanztest – verteilt auf acht bis zwölf spezialisierte Agenten, wobei Menschen nur zur Beurteilung und zur Übersteuerung eingreifen.
Das Wichtigste in Kürze
- Ein agentenbasiertes System ist keine Ansammlung einzelner Agenten, denen Menschen Aufgaben zuweisen, sondern ein zielorientiertes Ökosystem, in dem Agenten andere Agenten autonom koordinieren.
- Zwischen 8 und 12 spezialisierte Agenten können den gesamten Testprozess abdecken, von der Review der Anforderungen über die Erstellung von Testfällen bis hin zur Automatisierung und zum Performanztest. KI kann Geschäftsregeln nicht so anwenden oder die Überdeckung so beurteilen wie Menschen, daher ist menschliche Aufsicht nicht optional, sondern an definierten Kontrollpunkten im gesamten agentischen System strukturell erforderlich.
- Leistungstestfälle lassen sich nicht aus der funktionalen Automatisierung wiederverwenden, da sich der Umfang grundlegend unterscheidet: funktionale Tests steuern eine Benutzeroberfläche wie ein Mensch, während Performanztests die Hin- und Her-Kommunikation des Systems in großem Maßstab untersuchen.
- In Umgebungen mit strengen Datenschutzbestimmungen wie der Schweiz sind cloudbasierte KI-Tools wie ChatGPT, Claude und Gemini nicht einsetzbar, und Teams müssen Modelle wie Mistral, Ollama oder DeepSeek lokal auf GPU-fähigen Servern ausführen.
Agenten sind kein agentisches System
Ein agentisches System bedeutet, dass Agenten andere Agenten eigenständig koordinieren, ohne dass ein Mensch jede Aufgabe einzeln zuweist. Diese Unterscheidung ist wichtig, denn viele Teams behaupten, ein agentisches System zu betreiben, obwohl sie in Wirklichkeit nur eine Handvoll Agenten einsetzen, die isolierte Aufgaben erledigen.
Nishan Portoyan zieht hier eine klare Grenze. Ein einzelner Agent nimmt eine Eingabe entgegen und erzeugt eine Ausgabe. Er wartet auf Anweisungen. Ein agentisches System läuft als vollwertiges Ökosystem: zielorientiert statt aufgabenorientiert, wobei Agenten sich gegenseitig Arbeit weitergeben und entscheiden, was als Nächstes passiert.
Die Verwirrung ist so weit verbreitet, dass es sich lohnt, das klar beim Namen zu nennen. Wenn immer noch eine Person jeden Schritt entscheidet und jede Aktion auslöst, dann sind das Agenten bei der Arbeit – kein agentisches System.
Warum der Mensch im Kreislauf bleibt
Das ursprüngliche Versprechen ist fehlgeschlagen: ein KI-System, das alles regelt, während sich die Menschen zurücklehnen und zuschauen. In der Praxis versagt dieses Modell.
Die KI erledigt die mechanische Arbeit gut. Aber an bestimmten Stellen braucht es immer noch einen Menschen als Entscheidungsträger. Der Mensch im Kreislauf ist also kein Notfallplan, sondern Teil des Konzepts. Was du definieren musst, ist, wo der Mensch angesiedelt ist und ob er die Entscheidung der KI außer Kraft setzen kann.
Der Grund ist einfach. Eine KI versteht keine Geschäftsregeln. Nishan drückt es ganz offen aus: Diese Lücke wird sich nicht schließen, denn Menschen denken anders als ein System, das lediglich Informationen hin und her schiebt. Ein Tester in dieser Rolle kann kein Anfänger sein. Um zu beurteilen, ob das Ergebnis dem entspricht, was das System tatsächlich leisten muss, braucht es einen Experten.
Wie eine agentische Testpipeline tatsächlich abläuft
Ein vollständiges agentisches Testsystem deckt die Aufgaben ab, die ein Tester normalerweise erledigt – von der Prüfung der Anforderungen bis zum Performanztest –, wobei der Mensch jeden Übergabepunkt überprüft. Nishans Team setzt genau das intern um.
Der Ablauf beginnt bei der Anforderung. Ein Anforderungsingenieur reicht eine neue Anforderung in Jira ein. Das agentische System erkennt sie, ruft sie ab und führt eine Review-Aktion durch. Alternativ kann ein Tester das System anweisen, die für ein bestimmtes Release relevanten Anforderungen abzurufen.
Nach dem Review markiert das System Unstimmigkeiten und schlägt Korrekturen vor, bevor es dem Tester das Ergebnis anzeigt. Der Tester genehmigt es oder liefert weitere Kontextinformationen. Sind die Informationen der KI veraltet oder lückenhaft, fügst du das Fehlende hinzu und lässt das System die Ergebnisse neu generieren.
Es folgt die Erstellung von Testfällen, jedoch nicht durch blindes Aufblähen des Testsatzes. Das System prüft zunächst die Überdeckung. Es fragt, ob bestehende Testfälle die Anforderung bereits abdecken. Ist dies der Fall, ordnet es die Anforderung einem Testfall zu. Ist dies nicht der Fall, schlägt der zuständige Agent neue Testfälle vor und bittet den Tester um Bestätigung.
Die Automatisierung ist der nächste Schritt. Ein spezieller Automatisierungsagent fragt, ob die Testfälle automatisiert oder manuell beibehalten werden sollen. Er automatisiert so, wie es ein Mensch tun würde: Inspektion der Eigenschaften, Identifizierung der Anwendung, Bestätigung der richtigen Elemente. Auch hier beurteilt der Tester, ob die KI die richtige Anwendung und die richtigen Elemente anspricht, und kann jederzeit eingreifen.
Sobald der automatisierte Testfall geschrieben ist, wird er an die Release-Umgebung übermittelt und ausgeführt, und die Ergebnisse kommen sofort zurück. Bei einer Fehlerwirkung untersucht ein Fehleranalyse-Agent die Ursache. Hat sich ein Element verschoben? Hat sich eine Eigenschaft oder Farbe geändert?
Hier wird Vertrauen zum Risiko. Wenn die KI eine Fehlerwirkung selbstständig behebt, tut sie das möglicherweise auf falsche Weise. Ein Entwickler hat vielleicht eine ID geändert, und die KI fixiert sich dann auf ein Element, das richtig aussieht, es aber nicht ist. Die Kontrolle muss beim Menschen bleiben, um die Korrektur zu korrigieren oder den Lauf fortzusetzen.
Performanztests schließen die Pipeline ab. Ein separater Agent wandelt die automatisierten Funktionstestfälle in Performanztestfälle um, führt sie auf dem ausgewählten System aus und meldet Engpässe und Warnungen.
Funktionstestfälle können nicht für Performanztests wiederverwendet werden
Der Performanzagent verdient seinen Platz, weil er Testfälle umwandelt, nicht weil er sie ausführt. Das bloße Ausführen gehört in die CI/CD-Pipeline. Die Umwandlung ist die eigentliche Arbeit.
Funktions- und Performanztestfälle haben einen völlig unterschiedlichen Umfang. Ein automatisierter Funktionstest steuert ein System unter Test über die GUI oder eine API und ahmt dabei einen einzelnen Benutzer nach. Bei Performanztests entfällt die Frontend-Interaktion; stattdessen wird der Kommunikationsfluss hin und her untersucht, um eine Messung durchzuführen, um zu messen, ob das System von einem Benutzer auf zweihundert skaliert.
Diese Skalierung erfordert eine Änderung der Testfälle selbst. Entweder wandelt eine KI sie um oder ein Performance-Experte übernimmt das. Der Unterschied liegt in der Zeit. Eine rohe Testsuite ohne Umwandlung direkt in einen Performance-Lauf zu geben, verschwendet nur unnötig Test-Token.
Wie viele Agenten ein Testsystem benötigt
Ein funktionierendes Setup läuft mit acht bis zwölf Agenten. Die genaue Anzahl hängt davon ab, wie viele Features und Funktionen du der KI übergibst.
Domänenbeschränkungen beeinflussen die Anzahl. Ein Bankensystem schränkt ein, was du der KI übergibst, da jeder Schritt durch regulatorische Vorschriften geregelt ist. Im Einzelhandel kann man mehr übergeben, da die DSGVO und der Datenschutz dort weniger stark ins Gewicht fallen.
Autonomie ist an die Aufgabe gebunden, nicht an ständige Überwachung. Wenn eine Anforderung in Jira bereit ist, wird der Auslöser aktiviert und der Prozess startet. Sollte die KI andernfalls die falschen Anforderungen – aus dem nächsten oder übernächsten Release – abrufen, legt der Mensch fest, auf welchen Release sie sich konzentrieren soll.
Was steckt in einem Agenten?
Ein Agent basiert auf drei Dingen: Inhalt, Fähigkeiten und Zugriffsgrenzen. Der Inhalt ist der geschäftliche Kontext des Unternehmens, und genau hier scheitern die meisten Versuche.
Du kannst dem Agenten den Inhalt direkt zuführen oder ihn in einem Container mit Versionskontrolle speichern, sodass der Agent die aktuellen Informationen abruft und weiß, wann er sie zuletzt überprüft hat. Der Container-Ansatz hält die Quelle unter Kontrolle.
Fähigkeiten stammen aus der Systemaufforderung, und genau darin liegt das eigentliche Handwerk. Die erste Version wird nicht gut funktionieren. Es braucht mehrere Iterationen, um eine Systemaufforderung zu entwickeln, die sich so verhält, wie sie soll. Daneben entscheidest du, wie viel Freiheit und Zugriff jeder Agent in welchem Bereich erhält.
Datenschutz kann alles lokal erzwingen
In regulierten Bereichen darfst du keine Tools verwenden, bei denen die Daten deine Kontrolle verlassen. Das schließt die offensichtlichen Cloud-Dienste aus.
Nishan arbeitet in der Schweiz, wo manche Unternehmen und Branchen Anwendungen verbieten, die auf US-Servern oder irgendeinem Server außerhalb des Landes laufen. Sobald diese Regel gilt, kommen ChatGPT, Claude und Gemini nicht mehr in Frage, denn die Daten unterliegen nicht deiner Kontrolle, auch wenn es sich so anfühlt, als wäre das der Fall.
Die Alternative besteht darin, die Agenten und das Modell lokal auf einem Server innerhalb der jeweiligen Rechtsordnung zu betreiben, sodass du die volle Kontrolle darüber behältst, welche Informationen die KI nutzt. Modelle wie Mistral, Ollama oder DeepSeek laufen im Hintergrund und können bei Bedarf ausgetauscht werden.
Kosten für den lokalen Betrieb. Du benötigst Hardware mit echter GPU-Kapazität – entweder eine erhebliche Investition in einen eigenen Server oder eine Serverfarm, die speziell für KI-Workloads ausgelegt ist. Ein normaler Server reicht dafür nicht aus, da diese Systeme hohe Grafikleistung erfordern.
Wo fängst du an und mit welcher Aufgabe?
Es gibt zwei Einstiegsmöglichkeiten, je nachdem, ob du die Mechanismen verstehen oder einfach nur „Plug-and-Play“ nutzen möchtest. Tools wie make.com helfen dir zu verstehen, wie die Interaktionen funktionieren. Mit n8n kannst du lokal arbeiten. Claude Code und ChatGPT lohnen sich für den privaten Gebrauch.
Bei einer Unternehmensumgebung sieht die Sache anders aus. Nishan nutzt Systeme von Tricentis und UiPath, da beide für Tester entwickelt wurden und die Orchestrierung übernehmen, die ein Testteam benötigt.
Auf der Aufgabenebene fängst du mit der Review-Prüfung der Anforderungen an. Dabei zeigt sich, ob du eine Anforderung genauso interpretierst wie die KI und wo deine menschliche Interpretation der Absicht von der wörtlichen Lesart der Maschine abweicht.
Die Generierung von Testfällen ist ein zweiter guter Ausgangspunkt. Das ist eine in sich geschlossene Aufgabe, bei der du prüfst, ob die KI solide Testfälle für funktionale Tests erzeugt oder anfängt, sich Dinge einzubilden. Wenn es schiefgeht, frag nach, wo der Fehler liegt. Meistens fehlen Inhalte, weil man davon ausgeht, dass die KI bereits alles weiß.
Die KI denkt nicht, und sie wird auch in naher Zukunft nicht denken
Ein agentisches System bewältigt wiederkehrende Aufgaben gut. Es denkt nicht wie ein Mensch, und es so zu behandeln, als täte es das, ist der zentrale Fehler.
KI ist völlig dumm. Sie hat von nichts eine Ahnung. Du versuchst lediglich, die Informationen in den Bereich zu lenken, in dem vielleicht jemand sie trainiert oder die Informationen bereitgestellt hat, die sie nutzen könnte. — Nishan Portoyan
Die Urteilslücke ist vorerst dauerhaft. Eine KI kann die Überdeckung nicht so prüfen, wie ein Mensch sie abwägt, weil sie mit Nullen und Einsen arbeitet. Sie sammelt Informationen und gibt sie zurück, indem sie errät, was dir letztes Mal gefallen hat, und dir mehr davon anbietet.
Deshalb ist das Wort „Denken“ irreführend. Da steckt keine Intelligenz drin, nur das Abrufen und Weitergeben. Nishan geht davon aus, dass sich das ändern wird, aber nicht in einem Zeitrahmen, den er benennen könnte. Bis dahin ist das Urteilsvermögen des Testers der Teil des Prozesses, der nicht ausgelagert werden kann.
Häufig gestellte Fragen
Woran erkennt man, ob ein Team ein agentisches System betreibt oder nur eine Ansammlung von KI-Agenten?
Der Test besteht darin, wer den nächsten Schritt bestimmt. In einem agentischen System koordinieren Agenten andere Agenten und geben Aufgaben weiter, um ein Ziel zu erreichen. Ein einzelner Agent nimmt eine Eingabe entgegen, erzeugt eine Ausgabe und wartet auf Anweisungen. Wenn immer noch ein Mensch jede Aktion auslöst und jede Aufgabe verteilt, dann sind das einfach nur Agenten bei der Arbeit – kein agentisches System.
Kann ein unerfahrener Tester die Rolle des Gutachters in einem KI-gesteuerten Test-Workflow übernehmen?
Nein. Um zu beurteilen, ob das Ergebnis dem entspricht, was das System tatsächlich leisten muss, braucht es einen Experten. Die KI bewältigt die mechanische Arbeit gut, versteht aber keine Geschäftsregeln, und es ist nicht zu erwarten, dass sich diese Lücke schließen wird. Menschliche Kontrollpunkte gehören daher zum Design, einschließlich des ausdrücklichen Rechts, die Entscheidung der KI zu überstimmen.
Erstellt ein agentisches Testsystem für jede Anforderung neue Testfälle?
Nein. Die Überdeckung steht an erster Stelle. Das System prüft, ob bestehende Testfälle die Anforderung bereits abdecken, und wenn ja, ordnet es die Anforderung einem Testfall zu, anstatt die Testsuite aufzublähen. Nur dort, wo die Überdeckung fehlt, schlägt der zuständige Agent neue Testfälle vor, und der Tester bestätigt diese, bevor sie in den Satz aufgenommen werden.
Sollte ein KI-Agent die Erlaubnis haben, fehlgeschlagene automatisierte Tests selbstständig zu beheben?
Nein, hier wird Vertrauen zum Risiko. Ein Fehleranalyse-Agent kann die Ursache untersuchen, zum Beispiel, ob sich ein Element verschoben hat oder sich eine Eigenschaft oder Farbe geändert hat. Eine autonome Korrektur kann trotzdem falsch sein: Wenn ein Entwickler eine ID geändert hat, könnte sich die KI auf ein Element fixieren, das richtig aussieht, es aber nicht ist. Die Kontrolle bleibt beim Menschen.
Was passiert, wenn du eine bestehende Testsuite für funktionale Automatisierungstests als Lasttest ausführst?
Das verschwendet Tokens umsonst. Ein funktionaler automatisierter Test führt das System über die GUI oder eine API durch und ahmt einen einzelnen Benutzer nach. Performanztests lassen die Frontend-Interaktion außer Acht und betrachten den Datenaustausch, wobei gemessen wird, ob das System von einem Nutzer auf zweihundert skaliert. Die Testfälle müssen zunächst von einem Agenten oder einem Leistungsexperten umgewandelt werden.
Wie lässt man KI-Agenten laufen, wenn Unternehmensrichtlinien das Versenden von Daten ins Ausland verbieten?
Du führst die Agenten und das Modell lokal aus, auf einem Server innerhalb der Gerichtsbarkeit. In der Schweiz verbieten manche Unternehmen und Domänen Anwendungen auf US-Servern oder jeglichen Servern im Ausland, wodurch ChatGPT, Claude und Gemini nicht in Frage kommen. Modelle wie Mistral, Ollama oder DeepSeek sitzen hinter den Agenten und können je nach Bedarf ausgetauscht werden.
Was ist der häufigste Grund dafür, dass ein KI-Agent beim Test schlechte Ergebnisse liefert?
Fehlende Inhalte. Man geht oft davon aus, dass die KI bereits alles weiß, dabei fehlt ihr genau der geschäftliche Kontext des Unternehmens. Ein Agent basiert auf drei Dingen: Inhalten, Fähigkeiten und Zugriffsgrenzen. Die Fähigkeiten ergeben sich aus der Systemaufforderung, deren erste Version noch nicht gut funktioniert und mehrere Iterationen benötigt, bevor sich der Agent wie beabsichtigt verhält.
