Qualität von und mit Prompt Engineering

ChatGPT kann beeindruckende Testfälle generieren – aber die Korrektheit bleibt ein kritisches Problem. Durch systematisches Prompt Engineering lässt sich die Qualität der generierten Tests deutlich verbessern, doch selbst mit Few-Shot-Learning und eingebetteten Spezifikationen produziert die KI fehlerhafte Tests. Software Testing erfordert mehr als den Wow-Effekt: Pattern wie React und Chain of Thought erhöhen die Robustheit, doch für sicherheitskritische Bereiche ist die Technologie noch nicht ausgereift genug.

Podcast Episode: Qualität von und mit Prompt Engineering

Als Deep-Learning-Enigneer erforscht David die Möglichkeiten zum Einsatz der KI. Es geht um seine Annäherung an KI-generierte Testfälle, die Grenzen und die Möglichkeiten. Außerdem haben wir über Prompt-Patterns gesprochen, was kleinste Veränderungen im Prompt bewirken und wie sie gestaltet werden können, um die Qualität der Antworten zu steigern. Zum Schluss schätzt David die Entwicklung der KI ein und hat interessante Tipps für Tester, die anfangen möchten, KI in ihren Workflow zu integrieren.

„Tester sind super geeignet zum Prompt Engineer.” – David Faragó

David ist Deep-Learning-Engineer bei der Firma mediform, die Kommunikationslösungen wie Telefon-Bots für Arztpraxen entwickelt. Er beschäftig sich dort u.a. mit Fine-tuning von Large-Language-Models, Prompt-Engineering und Data Science, aber auch mit Software-Engineering, z.B. Microservices, Kubernetes und Qualitätssicherung. Nebenher hat er noch seine Firma QPR Technologies, die Beratung und Entwicklungsdienstleistung zu innovativer Qualitätssicherung anbietet, z.B. mittels Statische-Code-Analyse oder KI. Diese hatte er mit Kollegen nach seiner Promotion zu Symbolic AI, Formalen Methoden und Modellbasiertem Testen gegründet. Er ist Mitglied des Leitungsgremiums der GI-Fachgruppe Test, Analyse und Verifikation.

Highlights der Episode

• Große Sprachmodelle halluzinieren: Selbst überzeugende Antworten können subtil falsch sein und tagelang irreführen.
• Prompt-Engineering braucht Testerblick: Korrektheit durch Few-Shot-Examples und Spezifikation im Prompt merklich verbessern.
• React-Pattern steigert Robustheit massiv: Reasoning plus externe API-Aufrufe reduzieren Halluzination fast komplett.
• Testgenerierung gelingt teilweise: Elf Tests, zwei fehlerhaft – produktiv einsetzbar nur mit Reviewer-Mindset.
• Tester werden zu Prompt-Engineers: Qualitätssicherung für KI-Output ist klassisches Testerwissen, neu angewendet.

Wie Prompt Engineering die Softwaretest-Qualität transformiert

Heute geht es in die Welt des Prompt Engineering und wie es die Qualität von Softwaretests revolutioniert. David teilt seine Erfahrungen und Einblicke darüber, wie künstliche Intelligenz und Prompt Engineering genutzt werden können, um Testfälle zu erstellen und zu optimieren.

Das Potenzial von KI im Testdesign

Die künstliche Intelligenz hat das Potenzial, den berüchtigten Writer’s Block bei der Erstellung von Testfällen zu eliminieren. Doch trotz der enormen Möglichkeiten stellt er klar, dass eine vollständige Automatisierung nicht realistisch ist. Seine Hauptbotschaft war eindeutig – KI kann viel, aber sie ist kein Allheilmittel.

Die Herausforderung der Korrektheit

Ein kritisches Thema ist die Frage der Korrektheit generierter Testfälle. David betonte, dass KI-erzeugte Tests besonders kritisch betrachtet werden müssen. Trotz der beeindruckenden Fähigkeit von KI zur Generierung nützlicher Inhalte sind Fehler und Ungenauigkeiten nicht ausgeschlossen. Dies ist besonders relevant im Kontext der Testgenerierung, wo Genauigkeit essenziell ist.

KI-gestützte Commit-Nachrichten

David teilte eine Geschichte über sein Experiment mit Commit-Nachrichten, bei dem er KI zur Qualitätsbewertung einsetzte. Dieses Erlebnis offenbarte sowohl das Potenzial als auch die Grenzen der KI – eine einzige kleine Änderung konnte das Urteil der KI komplett umkehren. Diese Erfahrung lehrte ihn, die Ergebnisse immer kritisch zu hinterfragen.

Die Evolution des Prompt Engineerings

Dann sprachen wir über Davids Weg zum Experten im Bereich des Prompt Engineerings. Durch Experimentieren mit verschiedenen Patterns fand er Wege zur Verbesserung der Testqualität. Doch trotz signifikanter Fortschritte in der Testabdeckung und Strukturierung blieben Herausforderungen hinsichtlich der Korrektheit bestehen.

Zukunftsaussichten

David ist optimistisch, dass weitere Entwicklungen im Bereich des KI-gestützten Testing bevorstehen. Trotzdem bleibt eine gewisse Skepsis bezüglich der Verlässlichkeit dieser Methoden bestehen. Wie immer gilt es, die Balance zwischen Innovation und kritischer Betrachtung zu finden.