KI-Agenten scheitern nicht nur schneller als Menschen - sie scheitern auch in großem Maßstab. Deshalb sind Validierung und Testen wichtiger denn je. Die eigentliche Herausforderung ist nicht die Technologie selbst, sondern die Lösung des Orakelproblems und des Kommunikationsproblems: Wie definieren wir, was wir wollen, und wie überprüfen wir, ob wir es bekommen haben? Da der Code immer mehr zu einem Black-Box-Code wird und nach Bedarf generiert wird, werden die Spezifikationen und der Test zur einzigen zuverlässigen Quelle der Wahrheit. Für Tester ist das keine Bedrohung, sondern eine Einladung, die Führung zu übernehmen.
In dieser Folge spreche ich mit Henri Ternho, Senior Consultant und KI-Enthusiast, darüber, warum der Aufbau von Vertrauen in KI-Systeme die gleiche Strenge erfordert, die wir schon immer bei Software angewendet haben - nur jetzt auf einem ganz neuen Niveau. Henri Ternho erklärt, wie KI-Agenten sowohl unsere Erfolge als auch unsere Fehler multiplizieren, warum Prompting schwieriger ist, als es aussieht, und warum Tester in einer einzigartigen Position sind, um in diesem Wandel erfolgreich zu sein. Wir gehen dem Orakel-Problem und der Kommunikationsfalle auf den Grund und erfahren, warum deine Testsuite bald wichtiger sein könnte als deine Codebasis.
"KI denkt nicht, sie analysiert nicht, sie prognostiziert." - Henri Ternho
Henri Terho ist Senior-KI-Berater bei Eficode und verfügt über umfassende Erfahrung in regulierten Branchen – darunter Automobilindustrie, Bankwesen, Luft- und Raumfahrt und weitere Bereiche – sowie über ein starkes Engagement für die Zusammenarbeit im Open-Source-Bereich. Er hat eine Schlüsselrolle bei der Förderung von gemeinschaftsgetriebener Innovation gespielt, unter anderem als Vorsitzender der Tampere Entrepreneurship Society und als Mitbegründer von Tampere Tribe zur Unterstützung der lokalen Start-up-Kultur.Henris Leidenschaft für KI, Qualitätssicherung und schnelle Softwareentwicklung zeigt sich sowohl in seiner Arbeit in der Industrie als auch in seiner laufenden Doktorarbeit über agile Produktinnovation. Er teilt sein Fachwissen regelmäßig auf Vorträgen und in Publikationen und setzt sich für Lean-Praktiken und die neuesten Fortschritte im Bereich KI ein, um Unternehmen weltweit zu stärken.
Der Aufstieg von KI-Agenten verändert die Landschaft der Softwareentwicklung und Qualitätssicherung rapide. Da die Automatisierung immer mehr in unsere Prozesse und Entscheidungsfindung einfließt, sind Gespräche darüber, wie man Vertrauen in diese Systeme schaffen kann, dringender denn je. In einer Sonderfolge von Software Testing Unleashed, die live auf der HUSTEF Konferenz 2025 in Budapest aufgezeichnet wurde, begrüßt Richie Henry Tero, einen erfahrenen Berater und KI-Enthusiasten, um zu erkunden, was Vertrauen im Zeitalter der KI bedeutet. Gemeinsam gehen sie den praktischen Aspekten, Ängsten und zukünftigen Aufgaben von Testern, die mit intelligenten Systemen arbeiten, auf den Grund.
Vertrauen ist keine neue Herausforderung - schon immer mussten Entwickler/innen und Tester/innen das Vertrauen in Software sicherstellen, sei es für sich selbst, ihr Team oder Millionen von Nutzer/innen. Aber wie Henry Tero betont, verstärken KI-Agenten diese Notwendigkeit. Automatisierte Systeme können sowohl den Erfolg als auch die Fehlerwirkung vervielfachen. Während menschliche Kollegen Lücken aufgrund ihrer Erfahrung ausfüllen können, hat KI kein Gespür für den Kontext oder unausgesprochene Erwartungen. Henry betont, dass es wichtig ist, Systeme zu entwickeln, bei denen das Vertrauen in die KI so selbstverständlich ist wie das Vertrauen in deinen Teamkollegen: "Du willst, dass das System um das KI-Modell herum eine Quelle des Vertrauens ist, dass du einen Prozess, Kontrollen, Leitplanken und all diese Dinge um es herum aufgebaut hast.
Die Kommunikation von Anforderungen ist oft das Herzstück dieser Vertrauenslücken. Egal, ob du mit einem Menschen oder einer KI sprichst, falsche Kommunikation führt zu falschen Ergebnissen und Enttäuschungen. Das klassische "Orakel-Problem" taucht auf: Woher wissen wir, dass das, was die KI liefert, richtig oder sogar nützlich ist? Henry weist darauf hin, dass es ein Unterschied ist, ob du in Finnland oder in Deutschland nach einer Geschäftsstrategie fragst - die KI muss sich wie ein Mensch von präzisen, detaillierten Angaben leiten lassen.
In der Praxis werden KI-Systeme oft als "flauschig" und geheimnisvoll beschrieben. Viele halten es für riskant, die Kontrolle an KI abzugeben, insbesondere bei sensiblen Daten oder kritischen Geschäftsfunktionen. Ein Mangel an Transparenz und klaren Validierungsprozessen macht es Unternehmen und Nutzern schwer, den Ergebnissen zu vertrauen. Die Unvorhersehbarkeit moderner KI-Modelle fügt eine zusätzliche Dimension hinzu; wie Henry erklärt: "Software sollte deterministisch sein... da KI-Modelle natürlich nicht deterministisch sind, muss man umdenken.
Um Vertrauen aufzubauen, müssen vertraute Instrumente wie QS, Validierung und Ende-zu-Ende-Tests weiterentwickelt werden. Anstatt nur zu prüfen, ob ein einzelner Test bestanden wurde, müssen Unternehmen Trends beobachten, Metriken wie Mean Time Between Failures überwachen und auf unerwartete "schwarze Schwäne" vorbereitet sein. Da sich KI-Systeme im Verborgenen weiterentwickeln - dank regelmäßiger Modell-Updates - wird die Notwendigkeit einer kontinuierlichen Validierung und robusten Überwachung noch deutlicher.
Der Aufstieg der KI macht Tester nicht überflüssig, sondern lässt die Qualität noch wichtiger werden. Sowohl Richie als auch Henry Tero betonen, wie wichtig es für Tester ist, Vertrauen in diese Systeme aufzubauen. Henry erklärt, dass das Verfassen klarer Spezifikationen, das Erstellen von Testfällen und die Validierung der Ergebnisse genau die Fähigkeiten sind, die für das Management von KI-Projekten erforderlich sind.
Grundlegende Praktiken wie BDD (Behavior Driven Development) und TDD (Test Driven Development) sind wichtiger denn je. KI-generierter Code ist eine extreme Blackbox - oft haben Tester nur die Spezifikation und das daraus resultierende Verhalten. Die Erweiterung der eigenen Fähigkeiten über das traditionelle Testen hinaus, die Erforschung statistischer Testmethoden und das Verständnis für angrenzende Bereiche wie DevOps und Entwicklung helfen Testern dabei, in einer KI-zentrierten Umgebung von unschätzbarem Wert zu bleiben.
Veränderungen, vor allem in diesem Ausmaß, erzeugen natürlich Ängste. Viele fürchten, durch die Automatisierung von Aufgaben durch KI an Bedeutung zu verlieren, oder fühlen sich verloren angesichts der unbekannten Mechanismen dieser Systeme. Doch genau die Fähigkeiten, die gute Tester auszeichnen - kritisches Denken, eine Perspektive auf Systemebene und ein Bewusstsein für Zusammenhänge - sind genau das, was das Zeitalter der KI am meisten braucht, wie Henry ermutigt.
Wenn du dich auf neue Tools und Techniken einlässt, dich auf die Kommunikation konzentrierst und lernst, Trends zu analysieren, anstatt nach absoluten Antworten zu suchen, kannst du als Tester nicht nur überleben, sondern auch erfolgreich sein. KI wird den Job nicht übernehmen, sondern die Tester/innen ergänzen und ihnen eine strategischere Rolle bei der Gestaltung der Softwarequalität ermöglichen.
Da KI-Agenten immer stärker in das Gefüge der Software integriert werden, wird das Streben nach Vertrauen immer intensiver. Der Weg dorthin ist herausfordernd, aber auch aufregend: Der Wandel in der Softwarequalität von der Überprüfung von Kästchen hin zu intelligenten, kontextreichen Systemen bietet Testern und Entwicklern gleichermaßen die Chance, ihr Handwerk neu zu definieren.