Künstliche Intelligenz testen heißt, hinter die Demo zu schauen
Beeindruckende Demos beweisen wenig. Wer künstliche Intelligenz testen will, fragt zuerst, wie ein System zu seinem Ergebnis kommt. Dazu gehört die Gegenrichtung: KI kann im Softwaretest selbst Aufgaben übernehmen, vom Performanztest bis zum Entwurf von Testfällen.
KI ist seit Jahrzehnten ein Forschungsthema und hat in den vergangenen Jahren einen sehr medienwirksamen Siegeszug hingelegt. AlphaGo hat 2016 den Weltklasse-Spieler Lee Sedol im Go besiegt, einem Spiel, dessen Verläufe deutlich schwerer vorherzusagen sind als beim Schach. Bilderkennung hilft bei der frühen Diagnose gefährlicher Krankheiten und überwacht öffentliche Räume.
Aber wie ist die KI zu ihrem Ergebnis gekommen? Forschende um Sebastian Lapuschkin haben 2019 gezeigt, dass ein Bildklassifikator viele Pferdebilder gar nicht an den Pferden erkannte. Den Ausschlag gab ein Quellenvermerk am Bildrand, der in den Trainingsdaten auffällig oft auf Pferdefotos stand. Ohne den Vermerk war das Pferd für das Modell weg, und ein Autofoto mit Vermerk wurde zum Pferd. Das erinnert an das Pferd „Kluger Hans“, das nur zum Schein zählen konnte.
Übertreibung in beide Richtungen
Genauso schnell kippt die Stimmung ins Gegenteil. Nachdem 2018 in Arizona ein Testfahrzeug von Uber eine Fußgängerin tödlich erfasst hatte, galten autonome Autos vielen als Gefahr. Dabei starben 2020 allein in Brandenburg 140 Menschen bei Verkehrsunfällen, fast drei pro Woche. Auch eine nicht ganz perfekte KI könnte dort Vorteile bringen.
Ich sehe hier eine Übertreibung in beide Richtungen. Mit KI lässt sich viel erreichen, auch in sicherheitskritischen Anwendungen. Voraussetzung ist, dass wir sie gut absichern können. Und genau da fängt die Arbeit für uns Tester an.
Warum reicht richtig oder falsch bei KI nicht?
Weil ein einzelner Testfall wenig über ein Modell sagt. Hält es in einem Test eine Katze für einen Hund, wissen wir noch nicht, wie oft so etwas passiert. Die Qualität einer KI bewerten wir deshalb statistisch. Der ISTQB-Lehrplan Certified Tester AI Testing (CT-AI), seit April 2026 in Version 2.0, verlangt Testsuiten, die groß genug für statistisch belastbare Aussagen sind.
Für Klassifikatoren ist die Konfusionsmatrix das Grundwerkzeug. Sie stellt Vorhersage und Wirklichkeit gegenüber: richtig positiv, richtig negativ, falsch positiv (der Fehlalarm) und falsch negativ (der übersehene Fall). Daraus leiten sich die gängigen Metriken ab. Die Genauigkeit (Accuracy) zählt alle korrekten Klassifikationen. Die Präzision zeigt, wie viele positive Vorhersagen stimmen, die Sensitivität (Recall), wie viele der tatsächlich positiven Fälle das Modell findet. Der F1-Score fasst beide als harmonisches Mittel zusammen.
Welcher Fehler wie schwer wiegt, hängt von der Domäne ab. Diagnostiziert eine KI einen Tumor, der gar nicht da ist, ist das unangenehm. Übersieht sie einen Tumor, der tatsächlich da ist, kann das den Patienten das Leben kosten. In der Diagnostik zählt die Sensitivität deshalb mehr als die Präzision.
Dieselbe Rechnung gilt, wenn mehrere KI-Systeme gegeneinander antreten. Fair wird der Vergleich erst, wenn alle Kandidaten dieselben Testdaten und dieselben Metriken bekommen. Der Lehrplan nennt dafür A/B-Tests und Back-to-Back-Tests, für generative KI zusätzlich Benchmark-Suiten. Noch einmal schwieriger wird es bei KI-Agenten, die eigenständig planen, Werkzeuge aufrufen und dieselbe Aufgabe jedes Mal ein wenig anders lösen.
Die Trainingsdaten gehören zum Testobjekt
Das Pferdebeispiel zeigt, worauf wir als Tester schauen müssen: Eine KI lernt, was in den Daten steckt, nicht was wir gemeint haben. Wer ein KI-System testet, prüft deshalb auch die Trainingsdaten. Welche Merkmale könnte das Modell gezogen haben, die mit der eigentlichen Aufgabe nichts zu tun haben?
Daraus ist inzwischen eine eigene Teststufe geworden, der Eingabedatentest. Er schaut auf die Trainingsdaten und auf die Produktionsdaten, mit denen das System im Betrieb arbeitet. Sind die Daten verzerrt? Bilden sie die Einsatzsituation ab? Stimmen die Labels? Funktioniert die Datenpipeline?
Passen Teststufen und White-Box-Verfahren auf KI?
Ja, mit Ergänzungen. Als dieser Artikel 2021 entstand, war das eine offene Frage, inzwischen gibt der CT-AI eine Antwort. Die klassischen Teststufen vom Komponententest bis zum Abnahmetest bleiben für alle Systemteile ohne KI und für das Zusammenspiel mit dem Modell. Dazu kommen zwei eigene Stufen: der Eingabedatentest und der ML-Modelltest, der prüft, ob das Modell seine geforderten Leistungskriterien erreicht.
Auch White-Box-Verfahren haben ihren Platz gefunden. Neuronale Netze folgen keinen ausprogrammierten Pfaden, deshalb messen eigene Überdeckungsmaße wie die Neuronenüberdeckung, welche Teile des Netzes ein Test überhaupt aktiviert. Hohe Überdeckung garantiert allerdings nicht, dass das Modell verallgemeinert. Auch ein neuronales Netz kann Scheinkorrelationen lernen und aus den falschen Gründen richtig liegen, so wie der Pferde-Klassifikator mit dem Quellenvermerk. Strukturelle Maße brauchen deshalb Verfahren wie den gegnerischen Test und den metamorphen Test an ihrer Seite.
Robustheit und Security: kleine Störung, große Wirkung
Ein Test prüft mehr als die Frage, ob der neue Algorithmus besser ist als der alte. Neben funktionalen und nicht-funktionalen Tests gehört IT-Security dazu. Schon kleine Änderungen an einem Verkehrszeichen können Folgen haben: Liest ein autonomes Fahrzeug die „30“ auf einem Tempo-Schild als „80“, fährt es entsprechend schwungvoll durch die Stadt.
Das ist kein Gedankenspiel. 2020 klebten Sicherheitsforscher von McAfee einen schmalen Streifen Klebeband auf ein Schild mit Tempo 35 Meilen pro Stunde. Die Kamera eines älteren Tesla las daraus 85, und der Tempomat beschleunigte. Ebenso gefährlich sind widersprüchliche Situationen wie ein Stoppschild auf der Autobahn.
Der Lehrplan spricht hier von gegnerischen Beispielen: Eingaben, die durch geringfügige Störungen eines funktionierenden Beispiels entstehen und das Modell mit hoher Wahrscheinlichkeit falsch entscheiden lassen. Der gegnerische Test sucht gezielt nach solchen Eingaben, damit das Team das Modell gegen sie absichern kann.
Wann darf das System lernen?
Das hängt von der Anwendungsdomäne ab, und der Test prüft, ob das System die gewählte Grenze einhält. Lernt eine KI im Einsatz permanent weiter, spezialisiert sie sich. Das selbstfahrende Auto eines Pendlers kennt dann bald jede Eigenheit der täglichen Strecke und „vergisst“ den Rest. Die Alternative ist, das Lernen auf Service oder Entwicklung zu beschränken.
Es macht einen großen Unterschied, ob ein KI-System fest eingestellt (locked) oder adaptiv ist. Ein fest eingestelltes System ändert sein Verhalten nach der Auslieferung nicht und ist deshalb deutlich leichter zu testen. Wird es neu trainiert, gilt es als neues System und braucht eine neue Testrunde. Ein adaptives System lernt im Betrieb weiter, sein künftiges Verhalten lässt sich nicht vollständig vorhersagen. Hier hilft eine automatisierte Testsuite für die Kernfunktionen, die nach jeder größeren Anpassung läuft. Drift-Tests zeigen zusätzlich, ob sich die Eingangsdaten oder ihre Bedeutung über die Zeit verschoben haben.
Wie hilft KI beim Softwaretest?
Überall dort, wo Muster und Ähnlichkeiten zählen. Ein naheliegendes Feld ist der Performanztest. Die KI erkennt abhängig von den Eingabedaten Auffälligkeiten im Systemverhalten und in der Systemlast und kann das System Schritt für Schritt bis an die Belastungsgrenze führen, auch über sie hinaus.
Ähnlichkeiten zu finden hilft auch bei Fehlermeldungen, Testspezifikationen und Log-Dateien des Testobjekts, beim Erzeugen von Testdaten aus Datenformatbeschreibungen und beim Ableiten von Testabläufen aus der Codeanalyse. Mit den großen Sprachmodellen ist ein weiteres Feld dazugekommen. Sie entwerfen Testfälle aus Anforderungen, schreiben Testcode und erklären Fehlermeldungen.
Was dabei herauskommt, müssen wir prüfen, bevor es in die Testsuite wandert. Der CT-AI lässt genau das üben: Ein Sprachmodell erzeugt Testfälle per Grenzwertanalyse, die Teilnehmenden kontrollieren das Ergebnis auf Richtigkeit und Vollständigkeit. Für den Einsatz generativer KI im Test gibt es inzwischen einen eigenen Lehrplan, den Certified Tester Testen mit generativer KI (CT-GenAI).
Wo die Grenze liegt
Eine besonders reizvolle Idee ist die KI als Testorakel, also als Quelle für das erwartete Ergebnis. Sie wirft sofort eine Rückfrage auf: Wenn eine KI gut genug ist, das erwartete Ergebnis zu bestimmen, könnte sie dann nicht gleich das zu testende System sein? Vielleicht sogar ein besseres als das Original?
Der CT-AI kennt solche Stellvertreter-Orakel, etwa ein zweites Modell, das die Ausgaben des ersten bewertet. Zugleich mahnt er zur Vorsicht, weil das zweite System ähnliche Verzerrungen und Fehler mitbringen kann.
Damit stellt sich die Frage nach den Grenzen. Welche Entscheidungen können und wollen wir einer KI überlassen? Manche fühlen sich an das Trolley-Problem erinnert, das schon für Menschen kaum lösbar ist: Wenn ein tödlicher Unfall unvermeidlich ist und sich der Ausgang noch beeinflussen lässt, wer darf leben und wer muss sterben? Diese Frage beantwortet kein Testfall. Sie gehört aber auf den Tisch, bevor eine KI im Feld entscheidet.
Häufig gestellte Fragen
Wie testet man künstliche Intelligenz?
Statistisch und auf mehreren Ebenen. Metriken wie Präzision, Sensitivität und F1-Score bewerten ein Modell über viele Testfälle hinweg, weil ein einzelner Treffer oder Fehler wenig aussagt. Dazu kommen der Eingabedatentest für Trainings- und Produktionsdaten, der ML-Modelltest, gegnerische Tests für die Robustheit und die klassischen Teststufen für alle Systemteile ohne KI.
Wie vergleicht man verschiedene KI-Systeme im Test?
Alle Kandidaten laufen gegen dieselben Testdaten und werden mit denselben Metriken gemessen, sonst sind die Zahlen nicht vergleichbar. Der ISTQB-Lehrplan CT-AI nennt dafür A/B-Tests, die zwei Varianten statistisch gegeneinander bewerten, und Back-to-Back-Tests mit einem zweiten System als Pseudo-Orakel. Generative KI lässt sich zusätzlich an Benchmark-Suiten messen.
Gibt es einen Lehrplan für das Testen von KI?
Ja. Das ISTQB bietet den Certified Tester AI Testing (CT-AI) an, seit April 2026 in Version 2.0. Er behandelt Metriken wie den F1-Score, den Eingabedatentest, den ML-Modelltest und Verfahren wie gegnerische und metamorphe Tests. Wer generative KI im Test einsetzen will, findet dazu einen eigenen Lehrplan, den Certified Tester Testen mit generativer KI (CT-GenAI).
