Audio-KI testen

Audio-KI-Systeme können heute beeindruckend gut Sprache erkennen und synthetisieren – doch wie testet man eine Blackbox, die auf unterschiedlichen Servern unterschiedliche Ergebnisse liefert? Anders als bei klassischer Software gibt es hier keine deterministischen Pfade, keine klaren Fehlerquellen und oft nicht mal genug Testdaten für deutsche Dialekte oder diverse Sprechergruppen. Die Herausforderung für Software Testing: Modelle funktionieren zu 80 oder 90 Prozent, aber der Rest bleibt ein teurer, schwer reproduzierbarer Rattenschwanz aus fehlenden Standards und ethischen Fragen.

Podcast Episode: Audio-KI testen

Olaf ist Experte für Audio-KIs. Dabei gibt es eine Menge Herausforderungen, gerade im deutschsprachigen Raum: Sehr viele unterschiedliche Dialekte und die dazu notwendigen – aber oft fehlenden – Trainingsdaten. Er nimmt uns mit in die Welt der Sprach-KIs, wie wir diese trainieren und testen können und welche Aufgaben er eigentlich ChatGPT stellt.

„Die KI weiß nicht, was sie nicht weiß.” – Olaf Thiele

Olaf digitalisiert gesprochenes Deutsch. Er trainiert Modelle für die Transkription und Synthese von deutschem Audiomaterial mit Hilfe von künstlicher Intelligenz. Da diese Modelle immer stärker genutzt werden, wird auch das Testen und die Qualitätssicherung dieser Modelle immer wichtiger.

Highlights der Episode

• Audio-KI-Modelle sind Blackboxes: Selbst bei gleichen Daten liefern verschiedene Server unterschiedliche Ergebnisse.
• Testen scheitert an Daten: Deutsch hat nur 3.000 Stunden annotiertes Audio, Englisch 550.000.
• Fehlerkorrektur kostet Tage und Tausende Euro: Ein falsch ausgesprochenes Wort erfordert komplettes Neu-Training.
• ChatGPT ist ideal für Testdaten-Generierung: 100 Varianten von Pizza-Bestellungen in Sekunden statt Stunden.
• KI-Testen braucht goldene Testsätze mit extremen Randfällen: Bayerisch schwer, Bayerisch leicht, männlich, weiblich.

Das Testen von Audio-KI- warum das besonders schwierig ist

In dieser Podcast-Folge geht es um das Testen von Audio-KI ein, die Herausforderungen und Chancen, und wie wir mit den neuesten Technologien Fortschritte machen können.

Herausforderungen beim Testen von Audio-KI

Olaf betonte, dass das Testen von Audio-KI nicht nur technisch anspruchsvoll ist, sondern auch eine enorme kreative Denkleistung erfordert. Er erläuterte die Schwierigkeiten, die mit der begrenzten Verfügbarkeit von Daten in deutscher Sprache und den variierenden Dialekten zusammenhängen. Die Herausforderung besteht darin, genügend diversifizierte Daten zu sammeln, um ein Modell effektiv trainieren zu können. Darüber hinaus berichtete er über die Probleme der Reproduzierbarkeit bei unterschiedlichen Hardwarekonfigurationen und die Schwierigkeiten bei der Sicherstellung der Modellgeneralisierung.

Der Einsatz von Chat-GPT zur Generierung von Testdaten

Olaf erzählte von Chat-GPT als Werkzeug zur Generierung von Testdaten. Dies könnte eine revolutionäre Methode sein, um das Spektrum möglicher Testszenarien zu erweitern. Durch solche Tools können Tester eine Vielzahl an Daten produzieren lassen, ohne dass manuelle Eingriffe nötig sind. Dies könnte insbesondere für Sprachmodelle nützlich sein, wo Variation in der Aussprache oder im Dialekt schwierig manuell zu simulieren ist.

Die Zukunft des Testens in der KI-Ära

Olaf äußerte Hoffnung auf fortschreitende Entwicklungen bei Tools und Methodiken, insbesondere durch Plattformen wie Hugging Face. Diese könnten standardisierte Verfahren für das Training und Testen von KI-Modellen einführen. Eine solche Entwicklung würde nicht nur das Testen vereinfachen, sondern auch zu aussagekräftigeren Vergleichen zwischen verschiedenen Modellen führen.

Die ethische Dimension des KI-Einsatzes

Neben den technischen Aspekten sprachen wir auch über die ethischen Überlegungen beim Einsatz von KI-Technologien. Die Notwendigkeit einer sorgfältigen Abwägung dessen, was Modelle lernen sollten und was nicht, wurde hervorgehoben. Zudem wurde über den European AI Act diskutiert, der potentielle Regulierungen für den Einsatz von KI-Systemen vorsieht.

Eine Welt voller Möglichkeiten

Das Gespräch endete mit einem optimistischen Ausblick auf die Möglichkeiten, die sich durch fortschrittliche KI-Technologien eröffnen. Trotz der zahlreichen Herausforderungen sind sowohl Olaf als auch ich überzeugt, dass durch innovative Ansätze und kontinuierliche Forschung das Potenzial von Audio-KI voll ausgeschöpft werden kann.