KI-gestützte Testfallermittlung

Die Landeshauptstadt München nutzt einen eigenen GPT – und hat daraus einen KI-Assistenten entwickelt, der Fachbereichen beim Erstellen von Testfällen nach ISO 29119 hilft. Sherlock generiert normgerechte Tests, Watson schreibt Testberichte, und das Ganze läuft ohne Foundation-Level-Schulung. Ein Beispiel dafür, wie Software Testing mit KI auch dort funktioniert, wo Domainwissen groß und Testwissen klein ist.

Podcast Episode: KI-gestützte Testfallermittlung

In dieser Episode spreche ich mit Mark Menzel von der Landeshauptstadt München über MUCGPT und Sherlock, den Software-Test-KI-Assistenten. München zeigt: Verwaltung kann innovativ. Sherlock hilft Fachbereichen, normgerechte Testfälle nach ISO 29119 zu erstellen, ohne Schulungsmarathon. Aus MUCGPT kommen Testfälle, die sich per Export in TestLink und X-Ray bringen lassen. Der Mensch bleibt Entscheider.

“KI ist gekommen, um zu bleiben. Wir werden da nicht drumherum kommen. Und es findet eben auch Nutzung und Anwendung in der Stadt München.” - Dr. Mark Menzel

Dr. Mark Menzel verfügt über mehr als 25 Jahre Erfahrung im Bereich Software-Qualität und Testmanagement. Nach seiner Promotion in Business Administration spezialisierte er sich auf KI-basierte Testverfahren. Als Testmanager bei der Landeshauptstadt München leitet er Testprojekte für die Landeshauptstadt München. Darüber hinaus ist er als Hochschuldozent und Mentor tätig und erforscht, wie KI das Testen revolutionieren kann.

Highlights der Episode

• KI-Assistenten ersetzen keine Testexpertise, aber senken die Einstiegshürde für fachliche Nicht-Tester dramatisch.
• Prompt Engineering ist wichtiger als das Tool: Rolle definieren, Kontext geben, Format vorgeben.
• Ohne Retrieval Augmented Generation (RAG) erfindet die KI – auch bei internen Organisationsstrukturen.
• Zehn Testfälle sind wertvoller als einer perfekter – Token-Limits zwingen zu pragmatischem Denken.
• Innovation in Verwaltungen steht und fällt mit Menschen, die Nachwuchskräfte aktiv einbinden.

KI-gestützte Testfallerstellung - Wie Sherlock und Watson Testmanagement in München verändern

LH München als KI-Pionier in der Verwaltung

München ist nicht nur die bayerische Landeshauptstadt, sondern inzwischen auch ein Vorreiter, wenn es um den Einsatz von Künstlicher Intelligenz (KI) in der öffentlichen Verwaltung geht. Das zeigt das Gespräch zwischen Richie und Mark Menzel im Podcast “Software Testing”. Was viele überraschen dürfte: Die Stadt hat ihren eigenen GPT, genannt MUCGPT, entwickelt und setzt ihn schon in vielen Bereichen ein. Das Ziel ist klar – praxisnahe Unterstützung für Mitarbeiter, ohne dass diese tiefgehende Technikkenntnisse haben müssen.

Der Clou: Neben Standardfunktionen wie Zusammenfassen von Texten oder Formulierungshilfen gibt es jetzt mit “Sherlock” ein eigenes KI-Tool zur Testfallerstellung – maßgeschneidert für die Herausforderungen der Stadt.

Warum Testfälle in der Verwaltung eine Hürde darstellen

Wer schon einmal in einer Behörde gearbeitet hat, weiß, dass sich dort vieles um passende Formulare, Systeme und Abläufe dreht. Wenn sich Gesetze ändern oder neue Anforderungen kommen, dann müssen diese nicht nur programmiert, sondern auch getestet werden. Testfälle sind dafür das Rückgrat. Das Problem: Die Fachleute leben und atmen ihre Themen, aber oft fehlt ihnen spezielles Testwissen.

Hier setzt “Sherlock” an. Mark Menzel beschreibt, dass viele in den Fachabteilungen zwar das nötige Wissen zum eigenen System haben, aber Testfälle zu schreiben, fällt schwer. Man steht häufig vor einem weißen Blatt Papier und weiß nicht, wie man anfangen soll. KI als Assistent hat genau hier ihren Platz gefunden.

So unterstützt Sherlock: Von der Aufgabenstellung zum normgerechten Testfall

“Sherlock” ist nicht nur ein netter Name, sondern steht für einen echten Assistenten, der Mitarbeitenden hilft, Testfälle nach der ISO-Norm 29019 zu erstellen. Der Clou: Die Interaktion ist einfach und dialogbasiert. Man fragt Sherlock: “Wer bist du?” – Er antwortet, dass er hilft, Testfälle zu erstellen, und gibt direkt ein Beispiel mit. So entsteht ein Dialog, in dem Testfälle Stück für Stück aufgebaut werden.

Der besondere Vorteil: Testfälle können direkt in das benötigte Format für die verschiedenen Testmanagement-Tools exportiert werden (Testlink oder Xray). Das spart nicht nur Zeit, sondern nimmt den Nutzerinnen und Nutzern auch die Angst, sich mit neuer Software auseinanderzusetzen.

Feedback aus der Praxis: Erleichterung für alle – aber noch Luft nach oben

Wie wird das Angebot angenommen? Laut Mark Menzel gibt es positives Feedback, das vor allem darauf zurückzuführen ist, dass es die Arbeit deutlich einfacher macht. In den Schulungen legen sie besonderen Wert auf “Prompt Engineering” – also, wie man die richtigen Fragen und Befehle an die KI stellt. Nur dadurch erhält man Testfälle, die fachlich und methodisch taugen.

Natürlich gibt es Kinderkrankheiten: Die KI muss sich auf die bereitgestellten Informationen stützen, da sie “die Stadt München” nicht von sich aus kennt. Und oft kommen aus den Fachbereichen Wünsche wie: “Ich brauche zehn Testfälle, nicht nur einen!” oder “Können Fehlerberichte auch automatisiert erstellt werden?” Hier plant das Team bereits den nächsten Schritt.

Watson: Der Testbericht kommt auf Knopfdruck

Wer Sherlock sagt, muss auch Watson sagen. Deshalb arbeitet ein Student inzwischen daran, mit “Watson” einen Assistenten zu schaffen, der automatisiert Testberichte erstellt. Dazu gehören die wichtigsten Daten: Wie viele Testfälle wurden durchgeführt? Welche Tests sind fehlgeschlagen? Welche Bugs wurden gefunden? Solche Automatisierungen entlasten alle Beteiligten und schaffen Freiraum für die wirklich wichtigen Aufgaben.

Verwaltung – verstaubt oder innovativ?

Bei all den Neuerungen stellt Richie im Gespräch fest: Verwaltung ist keineswegs immer verstaubt. Menschen wie Mark Menzel und die Bereitschaft der Stadt München, in KI-Kompetenz zu investieren, zeigen, dass Veränderungen möglich sind. Besonders wichtig ist die Offenheit für frische Ideen, die enge Zusammenarbeit mit jungen Menschen und die Bereitschaft, mit Fehlern und Feedback zu wachsen.

KI-basierte Assistenten wie Sherlock und Watson sorgen dafür, dass Softwaretests in München schneller, einfacher und effizienter werden. Ihr Einsatz macht Fachkräfte unabhängiger, entlastet IT-Teams und bringt die Verwaltung einen großen Schritt nach vorn – und das alles, ohne die Menschen aus dem Blick zu verlieren.