Was für eine Wahnsinnszeit, in der wir leben. Ich finde das mega aufregend und bin begeistert von den Möglichkeiten, die sich uns besonders in der Software-Entwicklung auftun. Ich habe eben den Hype-Cycle von Gartner gesehen, da ist GenAI gerade am Peak – also vor dem Absturz ins Tal der Tränen. Aber was dann kommt, wird spannend. Wo wird KI nachhaltig und produktiv seinen Einsatz finden – abseits von SEO-Optimierungen und Text-Generatoren?
Wir tun gut daran, nicht in blinden Aktionismus zu verfallen – aber auf der anderen Seite auch nicht den Kopf in den Sand zu stecken was KI betrifft. Eine Gratwanderung! Ich beobachte auch, dass sich meine persönliche Meinung zu KI ständig wandelt. Dennoch – oder deswegen – möchte ich hier meinen aktuellen Stand der Unwissenheit teilen 😉
Software-Test mit KI
…ist wie in allen Branchen gerade ein großes Thema. Hier ist natürlich viel Potential: Testfallerstellung, Testdatengenerierung, Durchführung, Fehleranalyse – ein Spielfeld für KI-Tools. Gefühlt hat mittlerweile jedes Tool den Zusatz AI im Namen bekommen – auch wenn sich gar nicht viel geändert hat. Drum genau schauen, was wirklich dahinter steckt.
Und dabei sollten wir stets auch hinterfragen: Welches Problem wollen wir eigentlich mit KI lösen? Es ist verführerisch, sich von der neuesten Technologie blenden zu lassen, aber der Schlüssel zum Erfolg liegt darin, sie gezielt einzusetzen, um spezifische Herausforderungen in unseren Projekten zu überwinden. Und wenn ich da bei meinen Kunden reinschaue, gehts weniger um noch effizientere Testdurchführung, sondern um Dinge wie Testdatenmanagement und den Klassiker: Wie überwinde ich den Medienbruch von der Vorstellung des Anforderers in die Technik hinein.
Doch wie fängt man mit KI im Testen an? Ganz einfach: Anfangen. Experimentieren. Ausprobieren. Es geht hier um Pionierarbeit, vieles ist noch nicht fertig, noch nicht entwickelt und noch gar nicht gedacht. Die ersten Webseiten sind auch nicht mit einem CMS entstanden – sondern mit notepad.exe.
Testen von KI
Wenn wir über das Testen von KI selbst sprechen, werden wir auf die Urfrage zurückgeworfen, vor der wir uns in der Software-Entwicklung gerne drücken: Was bedeutet für uns eigentlich Qualität?
Wenn ich in neue Projekte und Unternehmen komme, ist das immer meine erste Frage: Was bedeutet für Euch Qualität? Oh. Unklarheit. Ähm. Verweis auf die ISO 25010. Konkret? Stille.
Traditionelle Qualitätskriterien wie Funktionalität müssen bei KI-Systemen neu gedacht werden. Andere Kriterien wie Genauigkeit, Lernfähigkeit, Anpassungsfähigkeit, Datenqualität und statistische Kriterien werden hier viel wichtiger.
Umdenken notwendig
Als Tester, Testmanager und Quality Engineer müssen wir in beiden Feldern umdenken. Sowohl beim Einsatz von KI als auch beim Testen von KI. Lieb gewonnenes müssen wir loslassen – und Neues dürfen wir lernen. Das ist nicht immer komfortabel, aber notwendig.
Und es gibt Hilfestellungen: Als Einstieg für die KI-Nutzung bieten sich ja die populären Protagonisten an: ChatGPT, Midjourney, Gemini, Copilot, etc. Einfach mal ausprobieren 🙂 Oder man nutzt KI im Zuge einer Ausbildung, zum Beispiel dem A4Q Practical Tester
Und für Tester? Hier bietet sich die Schulung und Zertifizierung zum ISTQB Certified Tester AI Testing an. Diese Zertifizierung gibt es übrigens schon seit 2021 und die Vorläufer davon noch länger. Denn KI gibt es ja nicht erst seit ChatGPT. Und irgendwie ist es ja auch nur Software 😉
Häufig gestellte Fragen
Sollte man beim KI-Hype lieber abwarten oder sofort mitmachen?
Weder das eine noch das andere: Blinder Aktionismus und Kopf-in-den-Sand sind beides schlechte Antworten. GenAI stand im Gartner Hype Cycle am Peak, also unmittelbar vor der Talfahrt der Erwartungen. Interessant wird, was danach übrig bleibt, nämlich die Frage, wo KI abseits von SEO-Texten und Textgeneratoren nachhaltig produktiv eingesetzt wird.
Steckt hinter dem Zusatz “AI” im Namen eines Testwerkzeugs immer echte KI?
Nein. Gefühlt hat inzwischen jedes Werkzeug den Zusatz AI im Namen bekommen, auch wenn sich am Produkt selbst wenig geändert hat. Deshalb lohnt der genaue Blick darauf, was tatsächlich dahintersteckt. Die nützlichere Ausgangsfrage lautet ohnehin: Welches Problem im eigenen Projekt soll die KI lösen?
Wo liegen in der Praxis die größten Schmerzpunkte, an denen KI im Test helfen könnte?
Nicht bei der Testdurchführung. Potential haben grundsätzlich Testfallerstellung, Testdatengenerierung, Durchführung und Fehleranalyse. In Kundenprojekten zeigt sich aber, dass es weniger um noch effizientere Durchführung geht, sondern um Testdatenmanagement und den Klassiker: den Medienbruch zwischen der Vorstellung des Anforderers und der technischen Umsetzung.
Braucht man eine ausgereifte Werkzeugstrategie, bevor man KI im Testen einsetzt?
Nein. Es geht um Pionierarbeit: Vieles ist noch nicht fertig, noch nicht entwickelt und noch nicht einmal gedacht. Anfangen, experimentieren, ausprobieren ist deshalb der realistischere Weg. Der Vergleich dazu: Die ersten Webseiten entstanden auch nicht mit einem Content-Management-System, sondern mit notepad.exe.
Warum ist es so schwierig, Qualität bei KI-Systemen zu definieren?
Weil die Frage nach Qualität schon bei klassischer Software oft unbeantwortet bleibt. In neuen Projekten und Unternehmen folgt auf die Frage, was Qualität für das Team bedeutet, meist Unklarheit und ein Verweis auf die ISO 25010. Wird nach Konkretem gefragt, bleibt es still. Beim Testen von KI fällt man auf genau diese Urfrage zurück.
Welche Qualitätskriterien werden beim Testen von KI wichtiger als die klassischen?
Genauigkeit, Lernfähigkeit, Anpassungsfähigkeit, Datenqualität und statistische Kriterien rücken nach vorn. Traditionelle Kriterien wie Funktionalität verschwinden nicht, müssen bei KI-Systemen aber neu gedacht werden. Für Tester, Testmanager und Quality Engineers bedeutet das Umdenken in zwei Richtungen: beim Einsatz von KI und beim Testen von KI.
Gibt es Aus- und Weiterbildungen zum Testen von KI?
Ja. Für Tester bietet sich die Schulung und Zertifizierung zum ISTQB Certified Tester AI Testing an, die es bereits seit 2021 gibt, mit noch älteren Vorläufern. KI ist also kein Thema, das erst mit ChatGPT begann. Für den Einstieg in die reine KI-Nutzung genügen zunächst die populären Werkzeuge, ausprobiert am eigenen Arbeitsalltag.
