KI-Agenten in Softwaresystemen zu vertrauen, bedeutet sicherzustellen, dass automatisierte Prozesse korrekte, beabsichtigte Ergebnisse produzieren, und zwar durch Prüfungen, Leitplanken und Validierungsschichten, die um das KI-Modell selbst herum aufgebaut sind. Dazu müssen zwei Kernprobleme gelöst werden: Die Anforderungen müssen klar genug kommuniziert werden, damit das System sie umsetzen kann, und es muss überprüft werden, ob die Ausgabe tatsächlich mit dem übereinstimmt, was gewollt war - das nennen Tester das Oracle-Problem.
Das Wichtigste in Kürze
- KI-Systeme verstärken sowohl Fehler als auch Erfolge im großen Maßstab, daher sind die Prüfungen, Leitplanken und Validierungsprozesse, die um das Modell herum aufgebaut werden, wichtiger als das Modell selbst.
- Das Testen von KI erfordert eine Verlagerung von deterministischen Pass/Fail-Prüfungen hin zur Überwachung von Trends und der Mean Time Between Failures, da nicht-deterministische Ergebnisse nicht mit einem einzigen grünen Test überprüft werden können.
- Das Kommunikationsproblem mit KI-Agenten ist strukturell identisch mit dem Fehlerberichtsproblem bei Menschen: Vage Eingaben führen zu generischen, kontextfreien Ausgaben, die am eigentlichen Bedarf vorbeigehen.
- Da KI-generierter Code zu einer Blackbox wird, werden Testspezifikationen und Akzeptanzkriterien zur primären Quelle der Wahrheit, wodurch die Fähigkeiten des Testers von zentraler Bedeutung werden.
- KI demokratisiert die Softwareerstellung, indem sie Programmierkenntnisse überflüssig macht, wodurch lange ignorierte organisatorische Probleme wie die Versionskontrolle von Dokumenten und fehlende einheitliche Wahrheitsquellen zutage treten.
Vertrauen lebt nicht im Modell, es lebt im System drum herum
Die Einheit des Vertrauens in der KI ist nicht das Modell, sondern das System, das du um es herum aufbaust. Ein Sprachmodell sagt voraus, es analysiert nicht und es denkt nicht. Vertrauen entsteht durch den Prozess, die Prüfungen und die Leitplanken, die diese Vorhersage umgeben.
Das ist derselbe Standard, den du bereits auf Menschen anwendest. Du vertraust einem Kollegen oder einer Kollegin aufgrund seiner/ihrer Erfahrung, seines/ihres Verständnisses und seiner/ihrer Fähigkeit, das, was er/sie sagt, zu überprüfen. Bei einem KI-Agenten muss das gleiche Gerüst vorhanden sein: ein Prozess, Bilanzen und Validierungsschritte, die das System auffangen, wenn es abdriftet.
Wenn dieses Gerüst funktioniert, gilt die gleiche Logik wie bei Software, die du in Auftrag gibst. Du schreibst die Spezifikationen, nimmst die Lieferung an und überprüfst, ob du bekommen hast, was du wolltest. Henri Terho geht bei der Frage nach dem Vertrauen in KI von zwei alten Problemen aus, die Tester bereits gut kennen.
Die zwei Probleme, die darüber entscheiden, ob du einem KI-Agenten vertrauen kannst
Zwei klassische Probleme des Testens kehren mit KI zurück, und beide müssen gelöst werden, bevor Vertrauen möglich ist: das Kommunikationsproblem und das Orakelproblem.
Beim Kommunikationsproblem geht es darum, zu vermitteln, was du eigentlich willst. Wenn jemand einer KI sagt: “Repariere meinen Code jetzt”, ist das Ergebnis aus dem gleichen Grund schlecht, aus dem ein Fehlerbericht mit der Aussage “Die Produktion ist kaputt” nutzlos ist. Es gibt keine Protokolle, keinen Kontext, keine Besonderheiten. Die Leute ärgern sich über das Ergebnis, ohne zu merken, dass sie dem System nichts gegeben haben, womit es arbeiten kann.
Die Menschen überspielen diese Lücken mit ihrer Erfahrung. Ein Kollege füllt den fehlenden Kontext aus jahrelanger gemeinsamer Arbeit auf. Ein Modell hat keine solche Erfahrung, also müssen die Aufforderung, die Anforderungen und alles, was du ihm gibst, spezifisch genug sein, um für sich selbst zu stehen.
Das Oracle-Problem besteht darin, zu wissen, ob die Ausgabe richtig ist. Selbst wenn die KI etwas produziert, musst du immer noch entscheiden, ob es richtig oder nur plausibel ist. Diese Frage wird in einem Unternehmen schnell philosophisch. “Richtig” könnte bedeuten, dass der Chef es verlangt hat, dass die Funktion Geld einbringt oder dass sie einer echten Spezifikation entspricht. Ohne eine klare Antwort kannst du das Ergebnis nicht beurteilen.
Wenn du beide Fragen beantwortest, erhältst du das Vertrauen, das du dir wünschst. Wenn du sie auslässt, kannst du nur raten.
Warum dir der generische KI-Output fehlgeschlagen ist
Eine generische Frage führt zu einer generischen Antwort, und das ist die Fehlerauswirkung, in die die meisten Menschen geraten. Wenn du als Inhaber eines kleinen Softwareunternehmens einen allgemeinen Chatbot nach einer Geschäftsstrategie fragst, bekommst du eine saubere, gut strukturierte Strategie, die niemandem besonders passt.
Die Ausgabe sieht vollständig aus. Sie enthält alle erwarteten Punkte und liest sich gut. Aber sie enthält nichts von deinem Kontext. Sie weiß nicht, dass du von Finnland aus in ein anderes Land verkaufst oder dass deutsche Regeln gelten, es sei denn, du hast es gesagt.
Die Lösung ist unglamourös: mehr Kontext, mehr Spezifika, bessere Anforderungen. Der Grund, warum sich die Leute darüber ärgern, ist einfach. Eine präzise Eingabeaufforderung zu schreiben ist mehr Arbeit als “Repariere das” zu tippen, und die meisten Leute wollen lieber die schnelle Antwort als die richtige.
Testen von KI bedeutet, Trends zu beobachten, nicht einen einzigen grünen Haken
Beim Testen von KI geht es nicht mehr um ein einzelnes bestandenes Ergebnis, sondern um das statistische Verhalten im Laufe der Zeit. Konventionelle Software ist deterministisch. Du gibst ihr eine Eingabe, erwartest eine Antwort und wenn du sie nicht bekommst, hast du einen Fehler. Das macht das Testen sehr einfach.
KI-Modelle sind nicht deterministisch, so dass ein einzelner grüner Test wenig aussagt. Du beobachtest Trends, die Mean Time Between Failures und das Verhalten über viele Durchläufe hinweg. Das ist näher daran, wie Maschinenbauer und Luftfahrtunternehmen über Zuverlässigkeit denken, als an eine Einzelprüfung.
Plane für seltene Fehlerwirkungen. Schwarze Schwäne tauchen in diesen Modellen auf, weil du nicht jede Ausgabe vorhersagen kannst. Eine Testsuite, die nur einmal “grün” bestätigt, gibt dir ein falsches Vertrauen.
Darüber hinaus gibt es ein Problem mit beweglichen Zielen. Die Modelle verändern sich unter dir, wenn die Anbieter sie aktualisieren. Wenn sich die Komponenten deines Systems ständig verändern, musst du die Stabilität bewusst entwickeln, statt sie zu erben.
Der Code wird zu einer Blackbox, also wird die Spezifikation zur Wahrheit
Da KI immer mehr von der Anwendung generiert, werden die Spezifikation und der Test zur einzigen verlässlichen Quelle der Wahrheit. Wenn die Software besteht, was du angegeben hast, ist sie in Ordnung und du musst den generierten Code nicht mehr lesen.
Dadurch werden Praktiken wie verhaltensgetriebene Entwicklung und testgetriebene Entwicklung von “netten Werkzeugen” zum Kern der Arbeit. Die eigentliche Frage ist, wie du das, was du willst, in einer Form niederschreibst, die präzise genug ist, um als Akzeptanzkriterien zu dienen.
Hier lauert eine Falle. Die Leute werden sich überkorrigieren und riesige Spezifikationen schreiben, so dass du am Ende Millionen von Zeilen mit Spezifikationen hast, so wie Teams heute Millionen von Zeilen mit Code haben. Diese Spezifikationen werden sich widersprechen. Die Systeme werden sich seltsam verhalten und du wirst deine Zeit damit verbringen, die Spezifikationen zu debuggen, anstatt den Code.
Die Abstraktionsebene nimmt stark zu. Eine vollständige, offene Spezifikation für ein so großes System wie eine CRM-Plattform zu schreiben, ist wirklich schwierig, denn niemand kann alles festlegen, was ein solches System tun soll.
Der Druck auf die KI kommt von außerhalb der IT, nicht aus ihr selbst
Der Druck für KI kommt von der Geschäftsseite, nicht von der technischen Seite. Leute aus dem Marketing kommen jetzt auf uns zu und fragen, ob KI ein konkretes Problem lösen kann, das sie haben. Diese Art von Anfrage kam bei der traditionellen Softwareentwicklung selten vor.
Dadurch ändert sich, wer die Arbeit vorantreibt. Die Nachfrage kommt von Leuten, die näher an der Wertschöpfung des Unternehmens sind und ein Tool wollen, das Kunden verfolgt oder aufzeigt, was passiert, und nicht von jemandem, dessen Identität darin besteht, der Datenbankexperte zu sein.
KI ist ein einfach zu bedienender Enabler, denn sie erfordert keine Kenntnisse einer Programmiersprache. Du kannst sie in einfacher Sprache abfragen, und das demokratisiert die Datenverarbeitung. Die Kehrseite der Medaille ist, dass die Qualität fragwürdig wird, weil jetzt fast jeder Software produzieren kann, ohne dass jemand prüft, ob sie den Anforderungen entspricht.
KI wird dir nicht deinen Job wegnehmen. Sie wird dich nicht automatisieren, sondern dich und deine Arbeitsweise ergänzen. Und in diesem Bereich gibt es noch viel zu tun.
- Henri Terho
Alte organisatorische Probleme tauchen wieder auf, und jetzt musst du sie lösen
KI zwingt ungelöste menschliche Probleme wieder an die Oberfläche, denn das System braucht eine einzige Quelle der Wahrheit, die die Menschen nie definiert haben. Wenn KI die wichtigste Schnittstelle zum Wissen eines Unternehmens wird, musst du aufschreiben, was die Organisation tatsächlich tut.
Stell dir einen Dokumentenspeicher mit zwanzig Versionen der gleichen Datei vor. Welche davon ist die richtige? Um diese Frage zu beantworten, braucht man echten Kontext: ob eine Version an einen Kunden ging, an welchen und ob sie danach überarbeitet wurde. Das Problem klingt trivial, ist es aber nicht.
Softwareentscheidungen waren schon immer mit versteckten Geschäftsentscheidungen verbunden. Ein Entwickler, der ein Unternehmen auf eine Cloud-Plattform festgelegt hat, hat eine weitreichende Entscheidung getroffen, die alles Weitere beeinflusst hat, oft ohne dass es jemandem aufgefallen ist. KI macht diese verborgenen Entscheidungen sichtbar und verlangt, dass sie angegangen werden.
Um die Verifizierung in den Griff zu bekommen, solltest du Leitplanken in die Plattform einbauen. Eine Möglichkeit ist es, mehrere KI-Instanzen prüfen und diskutieren zu lassen, ob ein bestimmtes Ergebnis tatsächlich gut ist, so dass das System sich selbst überprüft, anstatt einem einzigen Durchlauf zu vertrauen.
Warum die Fähigkeiten eines Testers in die KI-Ära passen
Die Denkweise des Testens passt direkt zu den Anforderungen der KI-Arbeit. Bei der Arbeit geht es bereits darum, Kriterien zu definieren, sie in Spezifikationen und Testfälle zu schreiben und die Ergebnisse zu überprüfen. Mit dieser Grundvoraussetzung sind Tester vielen anderen IT-Berufen voraus.
Was du noch hinzufügen kannst, ist statistisches Denken. Kümmere dich nicht mehr nur darum, dass ein Test grünes Licht gibt, sondern beobachte, wie sich die Ergebnisse über die verschiedenen Testläufe hinweg entwickeln. Dann kannst du über den Tellerrand des Testers hinausschauen.
Testen und Validierung werden Teile benachbarter Rollen übernehmen, darunter auch Teile von DevOps und Programmierung. Je weiter du in diese Bereiche vordringst, desto höher ist dein Wert, und je breiter dein Kontext ist, desto besser ist dein Urteilsvermögen, genau wie mehr Kontext die Leistung einer KI verbessert.
Die vorherrschende Reaktion auf all diese Veränderungen ist Angst, und das ist eine natürliche Reaktion auf eine so große Veränderung. Die Angst davor, automatisiert zu werden, sollte als Erstes abgelegt werden. Die Arbeit, die vor uns liegt, ergänzt die Tester, anstatt sie zu ersetzen, und davon gibt es eine ganze Menge.
Häufig gestellte Fragen
Was muss vorhanden sein, bevor du dich auf die Ergebnisse eines KI-Agenten verlassen kannst?
Vertrauen entsteht durch das System, das um das Modell herum aufgebaut ist, nicht durch das Modell selbst. Ein Sprachmodell sagt Dinge voraus, es analysiert nicht und es denkt nicht. Das Gerüst, das es vertrauenswürdig macht, besteht aus einem Prozess, Abgleichen und Schritten der Validierung, die Abweichungen erkennen. Es funktioniert wie bei einer in Auftrag gegebenen Software: Du schreibst die Spezifikation, nimmst die Lieferung ab und prüfst, ob du das bekommen hast, was du verlangt hast.
Wie entscheidest du, ob die Antwort einer KI tatsächlich richtig ist?
Du brauchst eine Antwort auf das Orakel-Problem: eine Definition dessen, was „richtig“ bedeutet, bevor du die Ausgabe beurteilst. In einem Unternehmen wird das schnell zu einer philosophischen Frage. „Richtig“ könnte bedeuten, dass der Chef danach gefragt hat, dass die Funktion Geld einbringt oder dass sie einer echten Spezifikation entspricht. Ohne diese Entscheidung kannst du ein korrektes Ergebnis nicht von einem bloß plausiblen unterscheiden.
Warum liefern kurze Eingabeaufforderungen wie „Repariere meinen Code“ enttäuschende Ergebnisse?
Weil die Eingabe keinen Kontext enthält. Die Fehlerwirkung ist strukturell identisch mit einem Fehlerbericht, der besagt: „Die Produktion ist ausgefallen“ – keine Protokolle, keine Einzelheiten, nichts, worauf man reagieren könnte. Menschen füllen solche Lücken füreinander aufgrund jahrelanger gemeinsamer Arbeit, aber ein Modell hat keine gemeinsame Geschichte. Eine allgemeine Eingabe liefert eine saubere, gut strukturierte Antwort, die zu niemandem Bestimmten passt.
Können KI-Systeme mit herkömmlichen Bestanden/Nicht bestanden-Tests überprüft werden?
Nein. Herkömmliche Software ist deterministisch, d. h.: eine Eingabe, eine erwartete Antwort, und ein roter Test bedeutet einen Fehler. KI-Modelle sind nicht deterministisch, daher beweist ein einzelner grüner Test kaum etwas. Man beobachtet Trends, Mean Time Between Failures und das Verhalten über viele Durchläufe hinweg – ähnlich wie es in Maschinenbau und Luftfahrt in Bezug auf Zuverlässigkeit gehandhabt wird. Man muss sich auf seltene, unvorhersehbare Fehlerwirkungen einstellen.
Muss noch jemand KI-generierten Code lesen?
Nicht unbedingt. Sobald die KI den Großteil der Anwendung schreibt, werden die Spezifikation und die Tests zur maßgeblichen Quelle: Wenn die Software das besteht, was du festgelegt hast, ist alles in Ordnung. Damit rücken verhaltensgetriebene und testgetriebene Entwicklung in den Mittelpunkt der Arbeit. Die Gefahr besteht in einer Überkorrektur, die zu Millionen von Zeilen widersprüchlicher Spezifikationen führt und dazu, dass man die Spezifikation statt des Codes beim Debugging durchführt.
Wer treibt KI in Unternehmen eigentlich voran?
Die Nachfrage kommt eher von der Geschäftsseite als aus dem technischen Kern. Marketingleute kommen mit einem konkreten Problem auf dich zu und fragen, ob KI es lösen kann – eine Art Inbound-Anfrage, die bei traditionellen Softwareprojekten selten vorkam. KI ist zugänglich, weil man keine Programmierkenntnisse braucht. Der Nachteil ist, dass die Qualität fragwürdig wird, wenn fast jeder Software erstellen kann.
Warum deckt die Einführung von KI alte organisatorische Probleme auf?
Weil das System eine einzige „Quelle der Wahrheit“ braucht, die bisher niemand definiert hat. Ein Dokumentenspeicher mit zwanzig Versionen derselben Datei ist das Standardbeispiel: Um zu entscheiden, welche davon korrekt ist, muss man wissen, ob eine Version an einen Kunden ging, welche genau und ob sie danach überarbeitet wurde. Hinter Software-Entscheidungen verbergen sich seit jeher geschäftliche Entscheidungen, und KI macht sie sichtbar.
Was sollten Tester ihrem Kompetenzspektrum für die Arbeit mit KI hinzufügen?
Zunächst einmal statistisches Denken: Hör auf, dich darum zu kümmern, ob ein einzelner Test „grün“ wird, und fang an, die Entwicklung der Ergebnisse über mehrere Durchläufe hinweg zu beobachten. Erweitere dann deinen Blickwinkel, denn das Testen und die Validierung werden Teile benachbarter Rollen übernehmen, darunter auch Aspekte von DevOps und der Programmierung. Je breiter dein Kontext ist, desto besser ist dein Urteilsvermögen – genauso wie mehr Kontext die Ergebnisse einer KI verbessert.
