Qualität von und mit Prompt Engineering – David Faragó 

 4. Juli 2023

Sie sehen gerade einen Platzhalterinhalt von Podigee. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.

Mehr Informationen

“Ich habe dann aber noch nicht klassisch dieses eine Prompt verbessert, sondern bin dann übergegangen in eine Konversation. Es muss ja nicht bei einem einzelnen Prompt bleiben” – David Faragó

Als Deep-Learning-Enigneer erforscht David die Möglichkeiten zum Einsatz der KI. Es geht um seine Annäherung an KI-generierte Testfälle, die Grenzen und die Möglichkeiten. Außerdem haben wir über Prompt-Patterns gesprochen, was kleinste Veränderungen im Prompt bewirken und wie sie gestaltet werden können, um die Qualität der Antworten zu steigern. Zum Schluss schätzt David die Entwicklung der KI ein und hat interessante Tipps für Tester, die anfangen möchten, KI in ihren Workflow zu integrieren.

David ist Deep-Learning-Engineer bei der Firma mediform, die Kommunikationslösungen wie Telefon-Bots für Arztpraxen entwickelt. Er beschäftig sich dort u.a. mit Fine-tuning von Large-Language-Models, Prompt-Engineering und Data Science, aber auch mit Software-Engineering, z.B. Microservices, Kubernetes und Qualitätssicherung. Nebenher hat er noch seine Firma QPR Technologies, die Beratung und Entwicklungsdienstleistung zu innovativer Qualitätssicherung anbietet, z.B. mittels Statische-Code-Analyse oder KI. Diese hatte er mit Kollegen nach seiner Promotion zu Symbolic AI, Formalen Methoden und Modellbasiertem Testen gegründet. Er ist Mitglied des Leitungsgremiums der GI-Fachgruppe Test, Analyse und Verifikation.

Highlights in dieser Episode:

  • David spricht über die Nutzung von künstlicher Intelligenz für die Qualitätssicherung
  • Prompt Engineering kann helfen, den Writer’s Block zu überwinden und Testfälle zu entwickeln
  • David betont, dass man sich nicht vollständig auf die Ergebnisse der künstlichen Intelligenz verlassen sollte, insbesondere in Bezug auf die Korrektheit
  • Experimente mit verschiedenen Prompt-Patterns können die Qualität und Robustheit der Testfälle verbessern
  • David teilt seine Erfahrungen mit dem React-Pattern, das die Robustheit und Korrektheit der Ergebnisse verbessern kann
  • Tester sind gut geeignet für Prompt Engineering, da sie bereits ein Verständnis für Qualität und Anforderungen haben
  • David erforscht derzeit die Möglichkeiten des Feintunings von Modellen, um die Ergebnisse weiter zu verbessern

 

Kontakt zu David:

Weitere Links:

 

Wie Prompt Engineering die Softwaretest-Qualität transformiert

TLDR: Heute geht es in die Welt des Prompt Engineering und wie es die Qualität von Softwaretests revolutioniert. David teilt seine Erfahrungen und Einblicke darüber, wie künstliche Intelligenz und Prompt Engineering genutzt werden können, um Testfälle zu erstellen und zu optimieren.

Das Potenzial von KI im Testdesign

Die künstliche Intelligenz hat das Potenzial, den berüchtigten Writer’s Block bei der Erstellung von Testfällen zu eliminieren. Doch trotz der enormen Möglichkeiten stellt er klar, dass eine vollständige Automatisierung nicht realistisch ist. Seine Hauptbotschaft war eindeutig – KI kann viel, aber sie ist kein Allheilmittel.

Die Herausforderung der Korrektheit

Ein kritisches Thema ist die Frage der Korrektheit generierter Testfälle. David betonte, dass KI-erzeugte Tests besonders kritisch betrachtet werden müssen. Trotz der beeindruckenden Fähigkeit von KI zur Generierung nützlicher Inhalte sind Fehler und Ungenauigkeiten nicht ausgeschlossen. Dies ist besonders relevant im Kontext der Testgenerierung, wo Genauigkeit essenziell ist.

KI-gestützte Commit-Nachrichten

David teilte eine Geschichte über sein Experiment mit Commit-Nachrichten, bei dem er KI zur Qualitätsbewertung einsetzte. Dieses Erlebnis offenbarte sowohl das Potenzial als auch die Grenzen der KI – eine einzige kleine Änderung konnte das Urteil der KI komplett umkehren. Diese Erfahrung lehrte ihn, die Ergebnisse immer kritisch zu hinterfragen.

Die Evolution des Prompt Engineerings

Dann sprachen wir über Davids Weg zum Experten im Bereich des Prompt Engineerings. Durch Experimentieren mit verschiedenen Patterns fand er Wege zur Verbesserung der Testqualität. Doch trotz signifikanter Fortschritte in der Testabdeckung und Strukturierung blieben Herausforderungen hinsichtlich der Korrektheit bestehen.

Zukunftsaussichten

David ist optimistisch, dass weitere Entwicklungen im Bereich des KI-gestützten Testing bevorstehen. Trotzdem bleibt eine gewisse Skepsis bezüglich der Verlässlichkeit dieser Methoden bestehen. Wie immer gilt es, die Balance zwischen Innovation und kritischer Betrachtung zu finden.