Das versteckte Risiko bei KI-generierten Tests und Anforderungen

Die Zukunft des Softwaretests hängt von erfahrenen Testern ab, die sowohl Testverfahren als auch die geschäftlichen Zusammenhänge hinter der Software verstehen. KI bewältigt repetitive, klar definierte Aufgaben gut, scheitert aber an den Randbereichen: an falschen Anforderungen, nicht überprüfbaren Ergebnissen und unerwartetem menschlichem Verhalten. Die wichtigsten Fähigkeiten sind Geschäftswissen, Anforderungsanalyse, Prompt-Engineering und Kommunikation.

Das Wichtigste in Kürze

• Von KI generierte Ergebnisse sind oft genug korrekt, um vertrauenswürdig zu wirken, aber der verbleibende Anteil an Fehlern – wie erfundene Referenzen, frei erfundene Anforderungen und gefälschte Testfälle – verursacht echten geschäftlichen Schaden, wenn kein Mensch das Ergebnis überprüft.
• Ein Tester, der nur vorgefertigte Skripte abarbeitet, ohne das zugrunde liegende Geschäftsfeld zu verstehen, ist direkt durch KI austauschbar; Fachwissen ist das, was einen Tester schwer automatisierbar macht.
• Prompt-Engineering und Anforderungsanalyse gehören mittlerweile zu den Kernkompetenzen eines Testers, denn das grundlegende Problem, das Verhalten von Software präzise und eindeutig zu beschreiben, hat sich in den 30 Jahren des Berufsbildes nicht geändert.
• Kommunikationsfähigkeiten sind eine entscheidende Lücke in der Ausbildung von Testern: Daten ehrlich darzustellen, die Erwartungen der Stakeholder zu steuern und klare Prompts zu verfassen – all das hängt von Fähigkeiten ab, die in technischen Studiengängen nicht vermittelt werden.

KI ist nicht mehr wegzudenken und steigert den Wert erfahrener Tester

KI wird Tester nicht überflüssig machen. Sie verändert vielmehr die Art und Weise, wie getestet werden muss. Olivier Denoo, der seit fast 30 Jahren in der Branche tätig ist, sieht KI eher als Chance für die Test-Community denn als Bedrohung.

Die Begründung ist einfach. KI ist keine vorübergehende Modeerscheinung. Es mag eine Blase geben, die irgendwann platzen könnte, aber die Technologie selbst wird Teil der Softwareentwicklung bleiben. Tester, die lernen, sie gut einzusetzen, werden ihren Platz behalten. Diejenigen, die das nicht können, werden ins Hintertreffen geraten.

Das Risiko ist konkret. Wenn dein Job darin besteht, zwanzig Jahre lang immer wieder denselben Knopf zu drücken und dasselbe Skript auszuführen, das du nicht einmal selbst geschrieben hast, bist du ernsthaft gefährdet. Genau diese Arbeit übernimmt die KI als Erstes.

Warum KI-generierter Code Testern mehr Arbeit bereitet, statt sie zu entlasten

Der Aufstieg des „Vibe-Codings“ bringt Software schneller hervor, kontrolliert die Qualität aber weniger. Genau in dieser Lücke werden erfahrene Tester unverzichtbar.

Wenn jemand eine Anwendung ins Leben ruft, ohne Entwickler zu sein, bleibt eine Reihe von Fragen unbeantwortet. Entspricht der Code den Anforderungen? Wie entwickelt er sich weiter? Ist er wartbar? Ist er sicher? Repositories können Hintertüren und Trojaner enthalten, und ein Nicht-Entwickler hat keine Möglichkeit zu beurteilen, ob der generierte Code einwandfrei ist.

Olivier rechnet damit, dass sich die Folgen innerhalb von Monaten bis Jahren zeigen werden, sobald es genügend KI-generierte Anwendungen gibt. Egal, ob man Agenten mit der Überwachung anderer Agenten beauftragt, LLMs LLMs prüfen lässt oder einen Menschen in den Prozess einbindet – die Fehlerzustände steigen. Mehr Fehlerzustände bedeuten mehr Tester und insbesondere mehr erfahrene Tester.

Was „erfahrener Tester“ eigentlich bedeutet

Ein erfahrener Tester verbindet technisches Know-how mit Geschäftsverständnis. Beide Aspekte sind wichtig, und gerade der zweite fehlt meistens.

Die technische Seite besteht darin, zu wissen, wie man testet: Testverfahren anzuwenden, zu wissen, wo man suchen muss, und zu wissen, wie man ein Problem angeht. Die geschäftliche Seite besteht darin, zu verstehen, was hinter der Anwendung steckt und warum sie existiert. Niemand schreibt Software, um eine neue Plattform oder Sprache zu präsentieren. Code existiert, um einem Ziel zu dienen und jemandem bei der Erledigung einer Aufgabe zu helfen.

Das Geschäftsverständnis wird immer schwieriger, je mehr Systeme miteinander vernetzt sind. Anwendungen sind komplex miteinander verknüpft, und die Geschäftsabläufe, die sie durchziehen, lassen sich kaum noch nachvollziehen. Man braucht Leute, die verstehen, wie der gesamte Prozess von Anfang bis Ende funktioniert – nicht nur, wie sich eine einzelne Komponente verhält.

Warum „KI kann testen, also können wir Tester einsparen“ eine gefährliche Schlussfolgerung ist

Ein Manager, der von einer Konferenz zurückkommt und davon überzeugt ist, dass KI Tester überflüssig macht, hat die Technologie falsch eingeschätzt. Nach dieser Überzeugung zu handeln, führt zu einer geschäftlichen Katastrophe.

Die Falle besteht darin, dass KI intelligent wirkt. Sie liefert immer eine Antwort, weil sie darauf ausgelegt ist, eine Antwort zu liefern. Sie stimmt dir zu, sagt dir, dass du Recht hast, und präsentiert ihre Ergebnisse mit Selbstsicherheit.

Das Problem ist, dass diese Antwort auf den ersten Blick klug wirkt, aber wahrscheinlich nur zu 85 oder 90 Prozent klug ist. Doch was ist mit den verbleibenden 10 oder 15 Prozent, die fehlerhaft sind? — Olivier Denoo

In diesem verbleibenden Teil lauert der Schaden. KI kann erfundene Anforderungen, erfundene Testfälle und erfundenen Code halluzinieren. Ein gängiges Beispiel sind Quellenangaben: Wenn du die KI bittest, ihre Quellen anzugeben, liefert sie dir vielleicht einen plausiblen Autor, ein plausibles Buch, einen plausiblen Mitautor – wobei das Ganze frei erfunden ist. Wenn du das nicht gegenprüfst, wenn du nicht genug weißt, um den Fehler zu erkennen, gehst du ein echtes Risiko ein. Nur wenn ein Mensch im Bilde bleibt, wird verhindert, dass die selbstbewusste, aber falsche Ausgabe in die Produktion gelangt.

Wo KI Testern hilft – und wo ihre Grenzen liegen

KI bewältigt die einfachen Teile des Testprozesses gut. An den Grenzen zwischen Anforderung und Orakel tut sie sich schwer – genau dort bleibt menschliches Urteilsvermögen unverzichtbar.

KI kann Anforderungen verfassen und prüfen. Sie kann sortieren und priorisieren. Sie kann Testfälle generieren. Der Haken ist, dass du dir zunächst einmal sicher sein musst, dass die Anforderungen und die Testfälle überhaupt korrekt sind.

Die schwierigen Probleme haben sich seit dreißig Jahren nicht geändert. Wo sind die Anforderungen? Was soll die Software eigentlich tun? Wie präzise und eindeutig kannst du beschreiben, was du willst – bis ins kleinste Detail? Und auf der anderen Seite das Orakel-Problem: Wie stellst du sicher, dass das Ergebnis richtig ist?

Eine Steuererklärung zeigt die Grenzen auf. Es gibt so viele mögliche Fälle, dass es wirklich schwierig ist, zu überprüfen, ob der Endbetrag stimmt – ob die richtige Summe geschuldet oder erstattet wird. Diese Art der Verifizierung ist für eine KI keine leichte Aufgabe.

Der Nutzer ist ein echter Mensch, keine von dir modellierte Persona

Software wird für jemanden entwickelt, und dieser Jemand muss sie verstehen und nutzen können. Tests, die den tatsächlichen Nutzer außer Acht lassen, übersehen Fehlerzustände, die kein Testfall beschreibt.

Das Problem mit Personas ist, dass sie nur die Menschen abdecken, die du dir bereits vorgestellt hast. Oliviers Beispiel ist seine Mutter, die 80 wird und weder Smartphone noch Apps nutzt. In Paris braucht man mittlerweile eine App, um mit der U-Bahn zu fahren. Wie soll das also für eine 80-Jährige funktionieren, die einfach nur reisen und mit der U-Bahn fahren will? Der Ablauf mag klar definiert und für viele Menschen hilfreich sein, doch er schließt stillschweigend ganze Nutzergruppen aus.

Aus diesem Grund gehört UX in den Aufgabenbereich des Testers. Der Mensch im Kreislauf ist nicht nur der Bediener innerhalb deines Systems. Es ist die Person am anderen Ende der Ausgabe, diejenige, die sich einen Reim darauf machen muss, was die Software produziert.

Randfälle entstehen dort, wo der ordentliche Prozess auf die reale Welt trifft

Ein perfekt definierter Prozess ist dennoch fehlgeschlagen an dem einen Schritt, bei dem eine Person etwas tut, womit das Modell nicht gerechnet hat. Oliviers verlorener Koffer verdeutlicht das.

Die Gepäckabwicklung am Flughafen ist von Anfang bis Ende festgelegt. Jeder Schritt und jeder Fall ist geregelt. Auf einer Rückreise aus Thailand blieb sein Gepäck in Genf hängen, während er in Brüssel landete. Swiss Airline bestätigte, dass es mit dem Flug am nächsten Morgen nachkommen würde, und sein eigener Tracker zeigte an, dass es in Brüssel angekommen war. Dann schickte Brussels Airlines eine E-Mail, in der stand, dass das Gepäck nicht gefunden werden könne, obwohl er den Raum nennen konnte, in dem es wahrscheinlich stand.

Sein Verdacht: Jemand hat den Koffer vom Förderband genommen und vergessen, das Etikett zu scannen. Ein einmal versäumter Scan – und schon war das Gepäckstück aus dem System verschwunden. Das ist der Bereich, den Tester berücksichtigen müssen. Menschen werden die Software, das Auto oder das Flugzeug nutzen – und manchmal auch missbrauchen. Unerwartete Ereignisse treten genau an den Stellen auf, die in den Spezifikationen als feststehend gelten.

Welche Fähigkeiten solltest du jetzt entwickeln, um für eine getestete Zukunft gerüstet zu sein?

Die Fähigkeiten, die Tester relevant halten, liegen an beiden Enden des technischen Spektrums: präzisere Anforderungen und stärkere Kommunikation – wobei Kenntnisse im Umgang mit KI vorausgesetzt werden.

Auf der technischen Seite steht das Requirements Engineering ganz oben auf der Liste, zusammen mit Prompt Engineering und Gen-AI-Techniken, denn KI ist mittlerweile Teil des Jobs. DevOps-Praktiken, Pipelines und Automatisierung sind gefragt. Manuelles Testen bleibt bestehen, verlagert sich jedoch hin zum explorativen Test statt zu wiederholenden, geskripteten Testläufen. Grundlage für all das ist Geschäftsverständnis: zu wissen, wozu die Anwendung dient.

Wenn du einen strukturierten Weg suchst, bietet ISTQB zwei KI-fokussierte Zertifizierungen an. Die eine befasst sich mit dem Einsatz von Gen-KI beim Testen und wurde kürzlich aktualisiert, um mit dem sich schnell entwickelnden Markt Schritt zu halten. Die andere, CT-AI, befasst sich mit dem Testen von KI selbst, einschließlich agentischer Architektur, und wurde ebenfalls aktualisiert. Ein DevOps-Lehrplan ist in Vorbereitung, neben den etablierten Ausbildungswegen in Testmanagement und Agilität.

Kommunikation ist die Fähigkeit, die in der Ausbildung zu kurz kommt

Kommunikation ist die Fähigkeit, die Olivier bei Testern am höchsten bewertet, und genau diese wird in der IT-Ausbildung vernachlässigt.

Es fängt schon bei den Eingabeaufforderungen an. Das alte Problem ist das neue Problem: Wir wissen immer noch nicht, wie wir genau beschreiben sollen, was wir wollen. Vage, unklare, mehrdeutige Aussagen scheitern bei einer KI genauso wie vor dreißig Jahren bei einem Entwicklungsteam. Das Verfassen einer präzisen Eingabeaufforderung ist eine Kommunikationskompetenz.

Das ist aber noch nicht alles. Selbst wenn die KI den Bericht erstellt, die Testfälle sortiert und ein Priorisierungsschema aufstellt, musst du die Ergebnisse immer noch den Stakeholdern im Unternehmen und dem Management vermitteln. Das bedeutet, Daten ehrlich darzustellen, ohne das Ergebnis zu verzerren, und mit der Psychologie und den Machtspielen drumherum umzugehen.

Ingenieure fühlen sich zur Technik hingezogen, weil sie ihnen gefällt. Diese Anziehungskraft ist real, und sie ist zugleich ein blinder Fleck. Die Soft Skills – jene Fähigkeiten, die in technischen Studiengängen vernachlässigt oder vergessen werden – sind es, die es einem Tester ermöglichen, korrekte Befunde in Entscheidungen umzuwandeln, auf deren Grundlage andere handeln.

Häufig gestellte Fragen

Welche Tester haben das größte Risiko, durch KI ersetzt zu werden?

Tester, deren Arbeit darin besteht, vorgefertigte Skripte abzufahren, sind diejenigen, die von der KI als Erstes übernommen werden. Jemand, der seit zwanzig Jahren auf denselben Knopf drückt und Skripte ausführt, die er nicht einmal selbst geschrieben hat, ist direkt austauschbar. Fachwissen ist der Schutz: Ein Tester, der das Geschäftsfeld hinter der Anwendung versteht, lässt sich viel schwerer automatisieren.

Reduziert KI-unterstütztes Programmieren den Aufwand für das Testen?

Nein. „Vibe-Coding“ produziert Software schneller, aber die Qualitätssteuerung erfolgt weniger. Wenn jemand, der kein Entwickler ist, eine Anwendung aus dem Nichts erschafft, gibt es niemanden, der überprüft, ob der Code den Anforderungen entspricht, ob er eine hohe Wartbarkeit aufweist oder ob er sicher ist; Repositories können Hintertüren und Trojaner enthalten. Mehr generierter Code bedeutet mehr Fehlerzustände und damit einen höheren Bedarf an erfahrenen Testern.

Warum ist Geschäftswissen genauso wichtig wie Testverfahren?

Software dient dazu, ein Ziel zu erreichen und jemandem bei einer Aufgabe zu helfen – nicht, um eine Plattform oder eine Sprache zur Schau zu stellen. Ein Tester, der dieses Ziel nicht versteht, kann nicht beurteilen, wie das richtige Verhalten aussieht. Die Schwierigkeit wächst, je komplexer Anwendungen miteinander verknüpft sind: Geschäftsabläufe erstrecken sich über mehrere Systeme, und jemand muss den gesamten Prozess von Anfang bis Ende verfolgen.

Wie vertrauenswürdig sind KI-generierte Ergebnisse bei der Testarbeit?

Zuversichtlich – und oft genug falsch, um eine Rolle zu spielen. KI liefert immer eine Antwort, weil sie darauf ausgelegt ist, eine zu liefern, und vielleicht sehen 85 bis 90 Prozent davon plausibel aus und sind auch fundiert. Die restlichen 10 bis 15 Prozent richten den Schaden an: erfundene Anforderungen, fingierte Testfälle oder plausible Verweise mit erfundenen Autoren und Büchern. Wer den Fehler erkennen kann, muss eine Gegenprüfung durchführen.

Kann KI bestätigen, dass ein Testergebnis korrekt ist?

Nicht zuverlässig. Zu prüfen, ob ein Ergebnis richtig ist – das sogenannte Orakelproblem – gehört zu den schwierigen Aufgaben, die KI nicht löst. Eine Steuererklärung zeigt die Grenzen auf: Die Anzahl möglicher Fälle ist so groß, dass es wirklich schwierig ist, den endgültigen zu zahlenden oder erstattungsfähigen Betrag zu überprüfen. Das Generieren und Sortieren von Testfällen fällt der KI leichter als die Überprüfung der Richtigkeit.

Warum reichen Personas nicht aus, wenn man für echte Nutzer testet?

Personas decken nur die Menschen ab, die du dir bereits vorgestellt hast. Olivier Denoos Beispiel ist seine Mutter, die 80 wird und weder ein Smartphone noch Apps nutzt, obwohl man in Paris eines braucht, um mit der Metro zu fahren. Ein Prozess kann gut definiert und für viele Menschen hilfreich sein und dennoch stillschweigend ganze Nutzergruppen ausschließen. Deshalb gehört UX in den Aufgabenbereich des Testers.

Warum sind selbst vollständig spezifizierte Prozesse in der Praxis immer noch fehlgeschlagen?

Weil schon eine einzige Person aus dem Modell herausfallen kann. Die Gepäckabfertigung am Flughafen ist von Anfang bis Ende festgelegt, doch Olivier Denoos Koffer blieb in Genf, während er in Brüssel landete – höchstwahrscheinlich, weil jemand den Koffer vom Förderband nahm und vergaß, das Etikett zu scannen. Ein einziger fehlender Scan, und das Gepäckstück verschwand aus dem System.

Verschwindet das manuelle Testen?

Nein, aber es verändert sich. Manuelles Testen entfernt sich von sich wiederholenden, geskripteten Testläufen hin zu explorativem Testen, bei dem menschliches Urteilsvermögen etwas beiträgt, was ein Skript nicht leisten kann. Daneben sind Anforderungsengineering, Prompt-Engineering und Techniken der generativen KI gefragt, ebenso wie DevOps-Praktiken, Pipelines und Automatisierung. All das beruht darauf, zu verstehen, wozu die Anwendung eigentlich dient.