Kritisches Denken beim KI-gestützten Testen bedeutet, die Ergebnisse von KI-Tools aktiv zu hinterfragen, anstatt sie für bare Münze zu nehmen. KI-Tools sind durch ihre Referenzdaten voreingenommen, und Tester müssen die Quellen überprüfen, auf Lücken achten und ihr eigenes analytisches Urteilsvermögen anwenden. Die Hauptaufgabe des Testers bleibt dieselbe: Er muss Informationen aufdecken, die es ihm ermöglichen, eine fundierte Entscheidung zu treffen.
Das Wichtigste in Kürze
- KI ist ein Werkzeug zur Zusammenarbeit, nicht zur Delegation: Wenn der Tester die Ergebnisse akzeptiert, ohne die Quelldaten zu überprüfen, hat er seine Arbeit nicht gemacht.
- Tester, die die analytische Arbeit auf KI übertragen, riskieren, dass sie die Fähigkeit verlieren, zu beurteilen, ob eine Ausgabe korrekt ist, und dieser Verlust ist nur schwer wieder gutzumachen, wenn er sich über Jahre hinweg summiert.
- Ohne eine unabhängige Verifizierung können diese Verzerrungen zu Ergebnissen führen, die Nutzer/innen außerhalb einer engen demografischen Gruppe systematisch benachteiligen.
- Die Hauptverantwortung der Tester bleibt gleich, unabhängig davon, wer oder was den Code geschrieben hat: Sie müssen feststellen, ob die Software die Erwartungen des Endnutzers erfüllt.
KI ist ein Kollaborateur, keine Kommandozeile
Die Umstellung auf KI verändert die Art und Weise, wie Tester mit Tools arbeiten - von der Anweisung zur Zusammenarbeit. Früher bedeutete Testautomatisierung, dass man sich hinsetzte, Code in C# oder mit Selenium schrieb und der Maschine genau sagte, was sie tun sollte. Jetzt schreiben KI-Tools diesen Code für dich und geben dir ihre Meinung zu deinen Fragen.
Diese Veränderung erfordert eine mentale Umstellung. Du diktierst nicht mehr jeden Schritt. Du bittest um Input, bekommst einen Entwurf und entscheidest dann, was du damit machen willst. Steve Watson bezeichnet dies als den größten Wandel in der jüngeren Geschichte des Testens, der sich von der stetigen Weiterentwicklung früherer Tools unterscheidet.
Der Wandel ist aufregend, aber er ist nicht für jeden selbstverständlich. Die Anpassung an ein Werkzeug, das sich zurückmeldet, das Vorschläge macht und zusammenfasst, verlangt den Testern mehr ab als das Erlernen eines weiteren Frameworks.
Warum das blinde Vertrauen in die KI ein blinder Fleck des Testers ist
Die Ergebnisse der KI sind nur so gut wie die Informationen, aus denen sie schöpfen, und diese Quelle siehst du selten. Die Zusammenfassungen und Meinungen, die diese Tools erstellen, sehen ausgefeilt und vollständig aus. Die Daten dahinter bleiben verborgen.
Diese Lücke ist der Ort, an dem sich Vorurteile einschleichen. Tools, die auf Daten beruhen, die auf eine bestimmte Gruppe zugeschnitten sind, benachteiligen stillschweigend alle, die nicht dazu gehören. Wenn ein System hauptsächlich westliche Nutzer/innen mittleren Alters aus einer engen sozioökonomischen Schicht widerspiegelt, haben Menschen außerhalb dieser Schicht schlechtere Ergebnisse und niemand merkt es, es sei denn, jemand gräbt nach.
Die Aufgabe eines Testers war es schon immer, die Informationen aufzudecken, die es einem ermöglichen, eine fundierte Entscheidung zu treffen. Diese Arbeit ist jetzt wichtiger, nicht weniger. Wenn die Qualität von KI-Ergebnissen fragwürdig ist, weist du darauf hin, fragst, woher die Daten stammen, und überprüfst sie unabhängig.
Es gibt eine klare Linie, die es wert ist, eingehalten zu werden. Wenn du der KI an einem Freitagnachmittag deinen eigenen Text gibst und sie bittest, eine E-Mail umzustrukturieren, hast du die Referenzdaten geliefert, und das Risiko ist gering. Wenn du KI um eine Meinung zu etwas bittest, für das du keine Quelle angegeben hast, musst du verstehen, woher die Antwort kommt.
Warum solltest du etwas, das sie dir sagt, einfach als wahr hinnehmen, wenn du es nicht selbst überprüft hast?
- Steve Watson
Die Tester haben die Fähigkeiten bereits, sie müssen sie nur umfunktionieren
Kritisches Denken ist keine neue Fähigkeit, die Tester von Grund auf lernen müssen, sondern eine bereits vorhandene, die sie auf die KI übertragen müssen. Tester haben schon immer gefragt, was sie erwarten, Anforderungen überprüft und alles in Frage gestellt, was keinen Sinn ergibt.
Du musst nicht der Endnutzer sein, um zu beurteilen, ob etwas richtig aussieht. Steve arbeitet für eine Fluggesellschaft und sein Standpunkt ist einfach: Man muss kein Pilot sein, um mit gesundem Menschenverstand zu beurteilen, was ein Pilot auf einem iPad sehen würde. Diese Fähigkeiten des Hinterfragens lassen sich direkt auf die KI-Ausgabe übertragen.
Stell dir vor, du gibst einer KI ein Anforderungsdokument und bittest sie um einen vollständigen Testansatz. Wenn du das Ergebnis nimmst, nickst und weitergehst, hast du deinen Job nicht gemacht. Richtig ist es, das Dokument als Ausgangspunkt zu betrachten und zu fragen, auf welche Daten es sich bezieht, was es übersehen haben könnte und was nicht abgedeckt ist.
Adam Bacon, ein Kollege von Steve, bringt es auf den Punkt: Behandle KI wie ein sachkundiges Teammitglied, das du um Rat fragst. Wenn ein Teammitglied dir etwas Nützliches erzählt, nimmst du das meiste davon auf und machst trotzdem deine eigene Due Diligence. KI verdient die gleiche Behandlung. Sie ist eine Datenquelle und ein Bezugspunkt, kein Urteil.
Das eigentliche Risiko ist, die Fähigkeit durch Nichtgebrauch zu verlieren
Die Gefahr besteht nicht darin, dass KI Arbeitsplätze wegnimmt, sondern darin, dass Tester ihr Urteilsvermögen nicht mehr nutzen, bis sie es nicht mehr einsetzen können. Menschen nehmen Abkürzungen. Steve verwendet das Bild eines gepflasterten Weges mit einer ausgetretenen Spur, die über die Grasecke führt - den Weg, den die Menschen nehmen, weil er einfacher ist.
Im Moment ist das Gleichgewicht noch zugunsten des menschlichen Urteilsvermögens verschoben, weil die Tester ihre Karriere damit verbracht haben, ihr Gehirn zu benutzen, anstatt es einer Maschine zu überlassen. Spulen Sie fünf oder zehn Jahre vor. Wenn man nur noch KI die Arbeit machen lässt und die Menschen nicht mehr wissen, wie ein korrektes Ergebnis aussieht, kippt das Gleichgewicht.
Sobald diese Fähigkeiten verloren gehen, ist es schwierig, sie wiederzuerlangen. Die bessere Lösung ist, sie gar nicht erst zu verlieren. Wenn die KI dir einen ausgefeilten Entwurf übergibt, betrachte ihn als den größten Teil der Arbeit, die du geleistet hast, und frage dich dann, was noch fehlt und was du noch hinzufügen musst.
Wo KI wirklich Zeit spart, und wo nicht
KI zahlt sich am meisten aus, wenn du die Kontrolle über den Datensatz hast und die Aufgabe darin besteht, Muster darin zu finden. Steve wollte wissen, was die Leute in seinem Unternehmen unter den Begriffen Testen und Qualität verstehen. Er sammelte die Antworten von zwei Benutzergruppen und ließ dann KI gemeinsame Themen und Unterschiede in jeder Gruppe finden und vergleichen.
Das Ergebnis waren drei Analysesätze und ein vorzeigbares Format, das in wenigen Stunden statt in Tagen erstellt wurde. Da er genau wusste, mit welchen Daten das Tool arbeitete, musste er sich keine Sorgen über fehlende externe Quellen machen. Er musste nur sicherstellen, dass in seinen eigenen Daten nichts übersehen wurde.
Der gleiche Ansatz gilt nicht immer. Nachdem er sich durch etwa 200 Anforderungen gearbeitet hatte, um Mehrdeutigkeiten zu erkennen, gab Steve die Aufgabe mit ein paar Hinweisen an ein Tool weiter, als es schon spät wurde. Das Tool zeigte ihm Dinge an, mit denen er bereits vertraut war, und übersah Dinge, die er nicht kannte.
Diese Erfahrung zeigt, dass es auf eine Entscheidung ankommt. Ein Tool so umzuschulen, dass es mit dem übereinstimmt, was du bereits kennst, kann mehr kosten, als wenn du es selbst machst. Ein Teil der Arbeit besteht nun darin, zu lernen, wofür sich KI eignet und wofür nicht, und das geschieht durch Versuch und Fehlhandlung.
| Aufgabe | KI-Tauglichkeit | Warum |
|---|---|---|
| Zusammenfassen eines bekannten Datensatzes nach Themen und Unterschieden | Stark | Du kontrollierst die Quelle, also sind fehlende externe Daten kein Problem |
| Erkennen von Mehrdeutigkeiten in vielen Anforderungen | Gemischt | Es kann übersehen werden, was wichtig ist, und auftauchen, was du bereits akzeptierst |
| Umstrukturierung von Text, den du selbst geliefert hast | Stark | Die Referenzdaten sind deine, das Risiko ist gering |
| Schwach ohne Prüfungen | Du kannst die Grundlage für die Antwort nicht überprüfen |
Die Qualität des Codes hängt immer noch von einer menschlichen Entscheidung ab
Wenn KI sowohl den Code als auch die Tests dafür schreibt, bleibt die Frage der Validierung menschlich. Das Muster spiegelt wider, was bereits geschieht: Entwickler schreiben Code, Tester schreiben Code, um ihn zu überprüfen. Was sich ändert, ist, wer oder was den Code schreibt.
Ob der Code von einem Menschen oder einem Werkzeug stammt, ist weniger wichtig als die Frage, ob er das liefert, was erwartet wurde. Am Ende der Kette steht immer ein Nutzer. Konzentriere dich auf dieses Ziel und frage dich dann, wie du herausfindest, ob der Output mit der Absicht übereinstimmt.
Tools geben dir viele Antworten auf die Qualität des Codes. Die offene Frage ist, was diese Antworten auslassen. Die Qualität des Codes hört nicht auf, ein Thema zu sein, nur weil KI den Code produziert hat, also bleibt der Fokus des Testers gleich, auch wenn sich die Quelle ändert.
Die nächste Generation braucht die Skepsis, nicht nur die Tools
Tester, die das Handwerk vor der KI erlernt haben, tragen die Verantwortung, den Instinkt des Hinterfragens weiterzugeben. Diejenigen, die jetzt zur Schule oder zum Studium gehen, werden KI als Teil des täglichen Lebens betrachten und sich die Werkzeuge schneller aneignen als alle, die vor ihnen kamen.
Diese Geschwindigkeit schafft eine Lücke. Die Neuankömmlinge wissen zwar, wie man KI einsetzt, haben aber noch nicht gesehen, wie die Arbeit ohne sie gemacht wurde, und bringen daher nicht die Skepsis mit, die frühere Tester aufgebaut haben. Das Risiko besteht darin, dass jemand ankommt und annimmt, dass die KI alles erledigt, ohne den Instinkt, das Ergebnis zu hinterfragen.
Für erfahrene Tester ist die Lernkurve steiler, weil sie vertraute Aufgaben auf ungewohnte Weise erledigen müssen. Die nächste Generation überspringt das, und genau deshalb muss die hinterfragende Denkweise bewusst gelehrt werden, anstatt sie sich selbst zu überlassen.
Investiere die frei werdende Zeit in analytische Fähigkeiten, nicht in mehr Programmierung
Wenn KI einen Teil der Codierungsarbeit übernimmt, die Tester heute leisten, sollte diese Zeit in analytische Fähigkeiten investiert werden. Steve weist auf ein seit langem bestehendes Ungleichgewicht hin: Tester verbringen den größten Teil ihrer Ausbildung, vielleicht 80 oder 90 Prozent, damit, zu lernen, wie man Code schreibt. Das Schreiben von Code macht dich nicht zu einem besseren Tester.
Es ging noch nie nur darum, Tests zu schreiben, sie auszuführen und Fehler zu finden. Sie war schon immer breiter angelegt und wird noch breiter, wenn die Anforderungen selbst von KI erstellt werden. Du hinterfragst sie auf dieselbe Art und Weise, unabhängig davon, wer oder was sie geschrieben hat.
Die Aufgabe bleibt dieselbe, die Methode ändert sich. Tester nutzen bereits KI-Tools, ob sie es wahrhaben wollen oder nicht, denn die Tools sind in alltägliche Software und Telefone integriert. Um relevant zu bleiben, musst du zeigen, dass du mit diesem Wandel Schritt hältst und mehr Zeit, Mühe und Training in die analytischen Fähigkeiten investierst, die durch kein Tool ersetzt werden können.
Häufig gestellte Fragen
Ist KI beim Testen nur ein weiteres Automatisierungstool wie die vorherigen?
Nein. Früher bedeutete Testautomatisierung, sich hinzusetzen und Code in C# oder mit Selenium zu schreiben, um der Maschine genau zu sagen, was sie tun soll. KI-Tools schreiben diesen Code für dich und geben Empfehlungen zu deinen Anfragen – der Tester fordert also Input an, erhält einen Entwurf und entscheidet, was damit geschehen soll. Steve Watson bezeichnet dies als den größten Wandel in der jüngeren Geschichte des Testens.
Wie können Verzerrungen in einem KI-Tool die Software beeinflussen, die ein Team auf den Markt bringt?
KI-Ergebnisse sind nur so gut wie die Daten, auf denen sie basieren – und diese Daten bleiben meist verborgen. Ein Tool, das auf Informationen basiert, die auf westliche Nutzer mittleren Alters aus einer engen sozioökonomischen Schicht ausgerichtet sind, liefert still und leise schlechtere Ergebnisse für alle, die außerhalb dieser Schicht liegen – und niemand merkt es, es sei denn, jemand schaut sich die Quelle genauer an. Erst eine unabhängige Verifizierung deckt das auf.
Wann ist es akzeptabel, KI-Ergebnisse zu verwenden, ohne die Quelldaten zu überprüfen?
Wenn du die Referenzdaten selbst bereitgestellt hast. Einem Tool deinen eigenen Text zu geben und es zu bitten, eine E-Mail umzustrukturieren, birgt ein geringes Risiko, da du weißt, worauf es sich gestützt hat. Anders verhält es sich, wenn du um eine Meinung zu etwas bittest, für das du keine Quelle angegeben hast: In diesem Fall hast du die Pflicht, zu verstehen, woher die Antwort stammt, bevor du danach handelst.
Müssen Tester neue Fähigkeiten erlernen, um kritisch mit KI umzugehen?
Meistens nicht. Kritisches Denken ist eine bereits vorhandene Fähigkeit, die nur auf ein neues Ziel ausgerichtet werden muss. Tester haben schon immer gefragt, was sie erwarten, die Anforderungen noch einmal durchgesehen und alles hinterfragt, was keinen Sinn ergibt. Ein nützlicher Ansatz ist es, KI wie ein sachkundiges Teammitglied zu behandeln: Nimm die meisten Ratschläge an, aber führe trotzdem deine eigene sorgfältige Prüfung durch.
Besteht das Hauptrisiko von KI beim Testen darin, dass sie Tester ersetzt?
Nein. Das größere Risiko besteht darin, dass Tester aufhören, ihr Urteilsvermögen einzusetzen, bis sie es gar nicht mehr anwenden können. Das Gleichgewicht spricht immer noch für menschliches Urteilsvermögen, denn Tester haben ihre Karriere damit verbracht, selbst zu denken, anstatt Aufgaben abzugeben. Wenn man fünf oder zehn Jahre reiner Delegation vorspult, wissen die Leute nicht mehr, wie ein korrektes Ergebnis aussieht. Die wiedererlangung der verlorenen Fähigkeiten ist der schwierige Teil.
Welche Testaufgaben beschleunigt KI wirklich?
KI zahlt sich am meisten aus, wenn du den Datensatz kontrollierst und die Aufgabe darin besteht, Muster darin zu finden. Das Sammeln von Antworten zweier Nutzergruppen dazu, wie sie Testen und Quality Engineering verstanden haben, lieferte drei Analysesätze in etwa ein paar Stunden statt in Tagen. Das Markieren von Unklarheiten in etwa 200 Anforderungen verlief schlechter: Das Tool zeigte an, was bereits akzeptiert war, und übersah das Wesentliche.
Wenn KI sowohl den Code als auch die Tests schreibt, wer durchführt dann die Validierung des Ergebnisses?
Das macht immer noch ein Mensch. Das Muster spiegelt wider, was bereits geschieht: Entwickler schreiben Code, Tester schreiben Code, um ihn zu überprüfen, und nur der Autor ändert sich. Ob eine Person oder ein Tool den Code geschrieben hat, ist weniger wichtig als die Frage, ob er am Ende der Kette das liefert, was der Nutzer erwartet hat. Tools liefern viele Antworten zur Qualität des Codes; die offene Frage ist, was sie dabei auslassen.
Sollten Tester weiterhin ihre Schulungszeit darin investieren, das Programmieren zu lernen?
Nicht als Priorität. Vielleicht fließen 80 oder 90 Prozent der Tester-Fortbildung in das Schreiben von Code, und das Schreiben von Code macht dich nicht zu einem besseren Tester. Wenn KI einen Teil dieser Arbeit übernimmt, sollte die frei gewordene Zeit in analytische Fähigkeiten fließen: Anforderungen auf die gleiche Weise zu hinterfragen, unabhängig davon, ob sie von einer Person oder einem Tool erstellt wurden.
