Kritisches Denken beim KI-gestützten Testen bedeutet, die Ergebnisse von KI-Tools aktiv zu hinterfragen, anstatt sie für bare Münze zu nehmen. KI-Tools sind durch ihre Referenzdaten voreingenommen, und Tester müssen die Quellen überprüfen, auf Lücken achten und ihr eigenes analytisches Urteilsvermögen anwenden. Die Hauptaufgabe des Testers bleibt dieselbe: Er muss Informationen aufdecken, die es ihm ermöglichen, eine fundierte Entscheidung zu treffen.
Das Wichtigste in Kürze
- KI ist ein Werkzeug zur Zusammenarbeit, nicht zur Delegation: Wenn der Tester die Ergebnisse akzeptiert, ohne die Quelldaten zu überprüfen, hat er seine Arbeit nicht gemacht.
- Tester, die die analytische Arbeit auf KI übertragen, riskieren, dass sie die Fähigkeit verlieren, zu beurteilen, ob eine Ausgabe korrekt ist, und dieser Verlust ist nur schwer wieder gutzumachen, wenn er sich über Jahre hinweg summiert.
- Ohne eine unabhängige Verifizierung können diese Verzerrungen zu Ergebnissen führen, die Nutzer/innen außerhalb einer engen demografischen Gruppe systematisch benachteiligen.
- Die Hauptverantwortung der Tester bleibt gleich, unabhängig davon, wer oder was den Code geschrieben hat: Sie müssen feststellen, ob die Software die Erwartungen des Endnutzers erfüllt.
KI ist ein Kollaborateur, keine Kommandozeile
Die Umstellung auf KI verändert die Art und Weise, wie Tester mit Tools arbeiten - von der Anweisung zur Zusammenarbeit. Früher bedeutete Testautomatisierung, dass man sich hinsetzte, Code in C# oder mit Selenium schrieb und der Maschine genau sagte, was sie tun sollte. Jetzt schreiben KI-Tools diesen Code für dich und geben dir ihre Meinung zu deinen Fragen.
Diese Veränderung erfordert eine mentale Umstellung. Du diktierst nicht mehr jeden Schritt. Du bittest um Input, bekommst einen Entwurf und entscheidest dann, was du damit machen willst. Steve Watson bezeichnet dies als den größten Wandel in der jüngeren Geschichte des Testens, der sich von der stetigen Weiterentwicklung früherer Tools unterscheidet.
Der Wandel ist aufregend, aber er ist nicht für jeden selbstverständlich. Die Anpassung an ein Werkzeug, das sich zurückmeldet, das Vorschläge macht und zusammenfasst, verlangt den Testern mehr ab als das Erlernen eines weiteren Frameworks.
Warum das blinde Vertrauen in die KI ein blinder Fleck des Testers ist
Die Ergebnisse der KI sind nur so gut wie die Informationen, aus denen sie schöpfen, und diese Quelle siehst du selten. Die Zusammenfassungen und Meinungen, die diese Tools erstellen, sehen ausgefeilt und vollständig aus. Die Daten dahinter bleiben verborgen.
Diese Lücke ist der Ort, an dem sich Vorurteile einschleichen. Tools, die auf Daten beruhen, die auf eine bestimmte Gruppe zugeschnitten sind, benachteiligen stillschweigend alle, die nicht dazu gehören. Wenn ein System hauptsächlich westliche Nutzer/innen mittleren Alters aus einer engen sozioökonomischen Schicht widerspiegelt, haben Menschen außerhalb dieser Schicht schlechtere Ergebnisse und niemand merkt es, es sei denn, jemand gräbt nach.
Die Aufgabe eines Testers war es schon immer, die Informationen aufzudecken, die es einem ermöglichen, eine fundierte Entscheidung zu treffen. Diese Arbeit ist jetzt wichtiger, nicht weniger. Wenn die Qualität von KI-Ergebnissen fragwürdig ist, weist du darauf hin, fragst, woher die Daten stammen, und überprüfst sie unabhängig.
Es gibt eine klare Linie, die es wert ist, eingehalten zu werden. Wenn du der KI an einem Freitagnachmittag deinen eigenen Text gibst und sie bittest, eine E-Mail umzustrukturieren, hast du die Referenzdaten geliefert, und das Risiko ist gering. Wenn du KI um eine Meinung zu etwas bittest, für das du keine Quelle angegeben hast, musst du verstehen, woher die Antwort kommt.
Warum solltest du etwas, das sie dir sagt, einfach als wahr hinnehmen, wenn du es nicht selbst überprüft hast?
- Steve Watson
Die Tester haben die Fähigkeiten bereits, sie müssen sie nur umfunktionieren
Kritisches Denken ist keine neue Fähigkeit, die Tester von Grund auf lernen müssen, sondern eine bereits vorhandene, die sie auf die KI übertragen müssen. Tester haben schon immer gefragt, was sie erwarten, Anforderungen überprüft und alles in Frage gestellt, was keinen Sinn ergibt.
Du musst nicht der Endnutzer sein, um zu beurteilen, ob etwas richtig aussieht. Steve arbeitet für eine Fluggesellschaft und sein Standpunkt ist einfach: Man muss kein Pilot sein, um mit gesundem Menschenverstand zu beurteilen, was ein Pilot auf einem iPad sehen würde. Diese Fähigkeiten des Hinterfragens lassen sich direkt auf die KI-Ausgabe übertragen.
Stell dir vor, du gibst einer KI ein Anforderungsdokument und bittest sie um einen vollständigen Testansatz. Wenn du das Ergebnis nimmst, nickst und weitergehst, hast du deinen Job nicht gemacht. Richtig ist es, das Dokument als Ausgangspunkt zu betrachten und zu fragen, auf welche Daten es sich bezieht, was es übersehen haben könnte und was nicht abgedeckt ist.
Adam Bacon, ein Kollege von Steve, bringt es auf den Punkt: Behandle KI wie ein sachkundiges Teammitglied, das du um Rat fragst. Wenn ein Teammitglied dir etwas Nützliches erzählt, nimmst du das meiste davon auf und machst trotzdem deine eigene Due Diligence. KI verdient die gleiche Behandlung. Sie ist eine Datenquelle und ein Bezugspunkt, kein Urteil.
Das eigentliche Risiko ist, die Fähigkeit durch Nichtgebrauch zu verlieren
Die Gefahr besteht nicht darin, dass KI Arbeitsplätze wegnimmt, sondern darin, dass Tester ihr Urteilsvermögen nicht mehr nutzen, bis sie es nicht mehr einsetzen können. Menschen nehmen Abkürzungen. Steve verwendet das Bild eines gepflasterten Weges mit einer ausgetretenen Spur, die über die Grasecke führt - den Weg, den die Menschen nehmen, weil er einfacher ist.
Im Moment ist das Gleichgewicht noch zugunsten des menschlichen Urteilsvermögens verschoben, weil die Tester ihre Karriere damit verbracht haben, ihr Gehirn zu benutzen, anstatt es einer Maschine zu überlassen. Spulen Sie fünf oder zehn Jahre vor. Wenn man nur noch KI die Arbeit machen lässt und die Menschen nicht mehr wissen, wie ein korrektes Ergebnis aussieht, kippt das Gleichgewicht.
Sobald diese Fähigkeiten verloren gehen, ist es schwierig, sie wiederzuerlangen. Die bessere Lösung ist, sie gar nicht erst zu verlieren. Wenn die KI dir einen ausgefeilten Entwurf übergibt, betrachte ihn als den größten Teil der Arbeit, die du geleistet hast, und frage dich dann, was noch fehlt und was du noch hinzufügen musst.
Wo KI wirklich Zeit spart, und wo nicht
KI zahlt sich am meisten aus, wenn du die Kontrolle über den Datensatz hast und die Aufgabe darin besteht, Muster darin zu finden. Steve wollte wissen, was die Leute in seinem Unternehmen unter den Begriffen Testen und Qualität verstehen. Er sammelte die Antworten von zwei Benutzergruppen und ließ dann KI gemeinsame Themen und Unterschiede in jeder Gruppe finden und vergleichen.
Das Ergebnis waren drei Analysesätze und ein vorzeigbares Format, das in wenigen Stunden statt in Tagen erstellt wurde. Da er genau wusste, mit welchen Daten das Tool arbeitete, musste er sich keine Sorgen über fehlende externe Quellen machen. Er musste nur sicherstellen, dass in seinen eigenen Daten nichts übersehen wurde.
Der gleiche Ansatz gilt nicht immer. Nachdem er sich durch etwa 200 Anforderungen gearbeitet hatte, um Mehrdeutigkeiten zu erkennen, gab Steve die Aufgabe mit ein paar Hinweisen an ein Tool weiter, als es schon spät wurde. Das Tool zeigte ihm Dinge an, mit denen er bereits vertraut war, und übersah Dinge, die er nicht kannte.
Diese Erfahrung zeigt, dass es auf eine Entscheidung ankommt. Ein Tool so umzuschulen, dass es mit dem übereinstimmt, was du bereits kennst, kann mehr kosten, als wenn du es selbst machst. Ein Teil der Arbeit besteht nun darin, zu lernen, wofür sich KI eignet und wofür nicht, und das geschieht durch Versuch und Fehlhandlung.
| Aufgabe | KI-Tauglichkeit | Warum |
|---|---|---|
| Zusammenfassen eines bekannten Datensatzes nach Themen und Unterschieden | Stark | Du kontrollierst die Quelle, also sind fehlende externe Daten kein Problem |
| Erkennen von Mehrdeutigkeiten in vielen Anforderungen | Gemischt | Es kann übersehen werden, was wichtig ist, und auftauchen, was du bereits akzeptierst |
| Umstrukturierung von Text, den du selbst geliefert hast | Stark | Die Referenzdaten sind deine, das Risiko ist gering |
| Schwach ohne Prüfungen | Du kannst die Grundlage für die Antwort nicht überprüfen |
Die Qualität des Codes hängt immer noch von einer menschlichen Entscheidung ab
Wenn KI sowohl den Code als auch die Tests dafür schreibt, bleibt die Frage der Validierung menschlich. Das Muster spiegelt wider, was bereits geschieht: Entwickler schreiben Code, Tester schreiben Code, um ihn zu überprüfen. Was sich ändert, ist, wer oder was den Code schreibt.
Ob der Code von einem Menschen oder einem Werkzeug stammt, ist weniger wichtig als die Frage, ob er das liefert, was erwartet wurde. Am Ende der Kette steht immer ein Nutzer. Konzentriere dich auf dieses Ziel und frage dich dann, wie du herausfindest, ob der Output mit der Absicht übereinstimmt.
Tools geben dir viele Antworten auf die Qualität des Codes. Die offene Frage ist, was diese Antworten auslassen. Die Qualität des Codes hört nicht auf, ein Thema zu sein, nur weil KI den Code produziert hat, also bleibt der Fokus des Testers gleich, auch wenn sich die Quelle ändert.
Die nächste Generation braucht die Skepsis, nicht nur die Tools
Tester, die das Handwerk vor der KI erlernt haben, tragen die Verantwortung, den Instinkt des Hinterfragens weiterzugeben. Diejenigen, die jetzt zur Schule oder zum Studium gehen, werden KI als Teil des täglichen Lebens betrachten und sich die Werkzeuge schneller aneignen als alle, die vor ihnen kamen.
Diese Geschwindigkeit schafft eine Lücke. Die Neuankömmlinge wissen zwar, wie man KI einsetzt, haben aber noch nicht gesehen, wie die Arbeit ohne sie gemacht wurde, und bringen daher nicht die Skepsis mit, die frühere Tester aufgebaut haben. Das Risiko besteht darin, dass jemand ankommt und annimmt, dass die KI alles erledigt, ohne den Instinkt, das Ergebnis zu hinterfragen.
Für erfahrene Tester ist die Lernkurve steiler, weil sie vertraute Aufgaben auf ungewohnte Weise erledigen müssen. Die nächste Generation überspringt das, und genau deshalb muss die hinterfragende Denkweise bewusst gelehrt werden, anstatt sie sich selbst zu überlassen.
Investiere die frei werdende Zeit in analytische Fähigkeiten, nicht in mehr Programmierung
Wenn KI einen Teil der Codierungsarbeit übernimmt, die Tester heute leisten, sollte diese Zeit in analytische Fähigkeiten investiert werden. Steve weist auf ein seit langem bestehendes Ungleichgewicht hin: Tester verbringen den größten Teil ihrer Ausbildung, vielleicht 80 oder 90 Prozent, damit, zu lernen, wie man Code schreibt. Das Schreiben von Code macht dich nicht zu einem besseren Tester.
Es ging noch nie nur darum, Tests zu schreiben, sie auszuführen und Fehler zu finden. Sie war schon immer breiter angelegt und wird noch breiter, wenn die Anforderungen selbst von KI erstellt werden. Du hinterfragst sie auf dieselbe Art und Weise, unabhängig davon, wer oder was sie geschrieben hat.
Die Aufgabe bleibt dieselbe, die Methode ändert sich. Tester nutzen bereits KI-Tools, ob sie es wahrhaben wollen oder nicht, denn die Tools sind in alltägliche Software und Telefone integriert. Um relevant zu bleiben, musst du zeigen, dass du mit diesem Wandel Schritt hältst und mehr Zeit, Mühe und Training in die analytischen Fähigkeiten investierst, die durch kein Tool ersetzt werden können.
