KI Testen – eine Checkliste

Die Frage “Kann man KI überhaupt testen?” führt in die Sackgasse – entscheidend ist, ob das System deterministisch arbeitet oder nicht. Diese Weichenstellung bestimmt die gesamte Teststrategie und nimmt vielen die Angst vor dem vermeintlich komplett neuen Terrain. Software Testing bei KI-Systemen erfordert weniger revolutionär neue Skills als gedacht: Wer Performance richtig testet, kennt Statistik bereits, und wer mit Eventually-Consistent-Systemen umgehen kann, hat das Handwerkszeug für nicht-deterministische Outputs. Eine Checkliste mit den richtigen Fragen – entstanden aus der Zusammenarbeit von Testern und Data Scientists – hilft dabei, strukturiert vorzugehen statt in Schockstarre zu verfallen.

Podcast Episode: KI Testen – eine Checkliste

Welche Fragen sollten beim Testen von KI gestellt werden und was können Tester von Data Scientists lernen? Marco Achtziger und Gregor Endler geben Einblicke in die Welt des KI-Testens und erörtern, ob das Testen von KI wirklich so anders ist als traditionelle Tests. Eine hilfreiche Checkliste für das KI-Testen enthält wertvolle Leitlinien und spannende Erkenntnisse. Der Austausch zwischen Testern und Data Scientists bietet die Möglichkeit, voneinander zu lernen und die Qualität von KI-Systemen zu verbessern.

“Für mich als Tester ist die wichtigste Frage: ‘Is it a deterministic system?’ Das ist die Wichtigste, weil die unheimlich viel Einfluss auf meine Teststrategie hat.“ - Marco Achtziger, Gregor Endler

Marco Achtziger ist bei Siemens Healthineers in Forchheim tätig. Mit Qualifikationen von iSTQB und iSQI ist er ein zertifizierter Senior Software Architekt bei Siemens AG. Tief im Herzen ist er jedoch ein Testarchitekt. Er leitet Trainings für Testarchitekten innerhalb von Siemens AG und Healthineers. Achtziger tauscht gerne Wissen mit anderen Unternehmen aus und spricht regelmäßig auf Konferenzen wie OOP und Agile Testing Days.

Gregor Endler promovierte in Informatik mit einer herausragenden Dissertation über “Adaptive Datenqualitätsüberwachung”. Bei codemanufaktur GmbH konzentriert er sich auf maschinelles Lernen und Datenanalyse. Er hat mehrere Forschungspapiere veröffentlicht. Als anerkannter Experte tritt er häufig auf akademischen und industriellen Konferenzen als Redner auf. Sein Engagement für den Wissensaustausch zeigt sich in seiner Bereitschaft, Erfahrungen mit anderen Unternehmen zu teilen.

Highlights der Episode

• Frage zuerst: Ist mein KI-System deterministisch? Das verändert die komplette Teststrategie radikal.
• Tester brauchen Statistik-Grundlagen, Data Scientists brauchen den Gesamtsystemblick – beide müssen reden.
• KI-Testen ist alter Wein: Performance-Tests arbeiteten schon immer mit Wahrscheinlichkeiten und Statistik.
• Trainingsdaten des Data Scientists können direkt zu Testdaten werden – fragt danach.
• Modellupdates im Live-Betrieb brauchen eigene Test-Datasets – sonst endet’s wie bei Chatbot-Katastrophen.

Effektive Teststrategien für KI-Systeme

In dieser Podcast-Episode tauchen wir in die Welt des KI-Testens ein und diskutieren über die Bedeutung der richtigen Fragen, die Wechselbeziehung zwischen Testern und Data Scientists, sowie praktische Ansätze für das Testen von KI-basierten Systemen.

Die Bedeutung von KI-Testen

Die Welt der Softwareentwicklung steht vor einer neuen Herausforderung: dem Testen von Künstlicher Intelligenz (KI). Heute konnte ich mit Marco Achtziger und Gregor Endler tiefer in dieses Thema einzutauchen. Das Konzept des KI-Testens wirft viele Fragen auf – welche sind die richtigen? Wie unterschiedlich ist es wirklich von herkömmlichen Tests? Unsere Diskussion befasste sich nicht nur mit wesentlichen Perspektiven auf diese Fragen, sondern bot auch einen umfassenden Einblick in die Komplexität und Notwendigkeit eines strukturierten Ansatzes für das Testen von KI-Systemen.

Die richtigen Fragen stellen

Eins der Schlüsselthemen unseres Gesprächs war die Bedeutung der richtigen Fragen beim Testen von KI. Gregor betonte, dass es keine falschen Fragen per se gibt, aber einige sind definitiv hilfreicher als andere. Zum Beispiel, die Frage “Kann es überhaupt getestet werden?” könnte zu Beginn eines Projekts relevant sein, verliert aber schnell an Relevanz. Stattdessen sollten wir uns auf Fragen konzentrieren, die tiefer in die Funktionsweise und mögliche Grenzen der KI eintauchen. Die Entwicklung einer gemeinsamen Checkliste durch eine Workgroup aus verschiedenen Firmen zeigte den Wert interdisziplinärer Zusammenarbeit auf.

Tester vs. Data Scientist

Ein weiteres Thema war die Beziehung zwischen Testern und Data Scientists. Beide Seiten haben ihre eigenen Perspektiven und Methodiken – doch gerade in dieser Diversität liegt das Potenzial für gegenseitiges Lernen und Verstehen. Beispielsweise kann ein Tester von einem Data Scientist lernen, wie Modelle evaluiert werden, während der Data Scientist vom Tester lernen kann, wie diese Modelle in einem größeren Systemkontext funktionieren. Diese synergetische Zusammenarbeit eröffnet neue Wege für effektivere Teststrategien und verbessert letztendlich die Qualität der Softwareprodukte.

Praktische Ansätze für das Testen von KI

In unserer Diskussion wurden auch praktische Ansätze für das Testen von KI-Systemen beleuchtet. Eine zentrale Erkenntnis war, dass Tester sich nicht nur mit traditionellen Testmethodiken befassen sollten, sondern auch mit stochastischen Methoden und statistischen Modellen vertraut sein müssen. Die Erstellung einer Checkliste durch ihre Workgroup dient als Leitfaden für Tester im Umgang mit KI-basierten Systemen. Diese Checkliste umfasst wichtige Aspekte wie deterministisches vs. nicht-deterministisches Verhalten von Systemen und den Einfluss von Modellupdates auf Testszenarien.

Abschlussgedanken: Der Weg vor uns

Das Testen von KI stellt sowohl eine Herausforderung als auch eine Chance dar. Marco und Gregor machten deutlich, dass eine enge Zusammenarbeit zwischen Testern und Data Scientists unerlässlich sind, um effektive Tests durchführen zu können. Es ist wichtig zu erkennen, dass viele Prinzipien des traditionellen Testens auch auf das Testen von KI anwendbar sind – jedoch mit einer neuen Dimension der Komplexität. Die Bereitschaft zum Lernen und zur Anpassung wird entscheidend sein für den Erfolg in dieser neuen Ära der Softwareentwicklung.