Die Software-Test-Umfrage ist eine seit 2011 alle paar Jahre durchgeführte Langzeitstudie zur Lage des Softwaretestens im deutschsprachigen Raum. Sie erfasst Rollen, Methoden, Projektmodelle und Werkzeuge. Die Ergebnisse zeigen unter anderem, wie sich der Anteil agiler Projekte verschoben hat und wie verbreitet konkrete Testverfahren wie Äquivalenzklassenbildung oder Anweisungsüberdeckung tatsächlich sind.
Das Wichtigste in Kürze
- Die Software-Test-Umfrage erscheint seit 2011 alle vier Jahre und liefert damit 2024 erstmals Vergleichsdaten über einen Zeitraum von knapp 15 Jahren.
- Agile Praktiken mit starkem Codebezug haben einen hohen Stellenwert, während kollektive Verantwortungskonzepte wie Collective Code Ownership und Pair Programming von weniger als 50 Prozent der Befragten als wichtig eingestuft wurden.
- Klassische Testverfahren wie Äquivalenzklassenmethode und Anweisungsüberdeckung sind rückläufig; 18 Prozent der Befragten kannten Anweisungsüberdeckung als Testmethode 2020 überhaupt nicht.
- Die aktuelle Umfrage fragt erstmals gezielt nach KI-Einsatz auf verschiedenen Ebenen, von der Anforderungserzeugung bis zur Testfallerstellung, und stellt diesen Nutzung dem Einsatz externer Dienstleister gegenüber.
- Alle Ergebnisse, von der Management-Zusammenfassung bis zum technischen Report mit Rohdaten, sind öffentlich und kostenlos zugänglich, weil die beteiligten Hochschulen öffentlich finanzierte Arbeitszeit einbringen.
Was die Software-Test-Umfrage misst
Die Software-Test-Umfrage ist eine wiederkehrende Erhebung zum Stand des Testens in der Praxis, die seit 2011 alle paar Jahre durchgeführt wird. Sie erfasst, wie Tester, Testmanager und Unternehmen im deutschsprachigen Raum arbeiten, welche Verfahren sie nutzen und wie sich Projekte über die Zeit verändern.
Bisher gab es Durchläufe in den Jahren 2011, 2015/16 und 2020. Mit der aktuellen Ausgabe liegen Daten über fast 15 Jahre vor, was Vergleiche über einen langen Zeitraum erlaubt. Genau diese Langzeitperspektive ist der Kern des Projekts.
Getragen wird die Umfrage heute vom German Testing Board zusammen mit beteiligten Hochschulen. Eine ursprünglich beteiligte Firma wurde nach Rückmeldungen bewusst herausgenommen, um die Daten als unabhängig erkennbar zu machen und Vorbehalte gegenüber einem Firmenkontext zu vermeiden.
Warum die Ergebnisse offen zugänglich sind
Alle Ergebnisse der Software-Test-Umfrage sind öffentlich abrufbar. Das ist keine Nebensache, sondern eine bewusste Grundsatzentscheidung der Beteiligten.
Der Grund liegt in der Finanzierung. Die Arbeit der Hochschulen fließt mit öffentlichen Mitteln in das Projekt. Daraus leitet sich ein klares Prinzip ab: Was öffentlich finanziert wird, soll auch öffentlich zugänglich sein.
Solange Hochschulen daran beteiligt sind, wird man das gar nicht anders machen können. Was öffentlich finanziert ist, muss auch öffentlich zugänglich sein.
Karin Vosseberg
Die Veröffentlichung erfolgt in mehreren Stufen für unterschiedliche Leserkreise. Zuerst eine Management-Zusammenfassung mit den auffälligsten Punkten, dann eine kompaktere Broschüre mit den wichtigsten Ergebnissen, schließlich ein ausführlicher technischer Report mit mehreren hundert Seiten und allen Rohdaten. Für die meisten Leser haben die Zusammenfassung und die Kurzbroschüre den größten Nutzen.
Was die Umfrage inhaltlich abfragt
Die Umfrage beginnt mit der Frage, welcher Rolle sich die Teilnehmenden zuordnen. Das ist gerade vor dem Hintergrund interessant, dass sich Projektlandschaften von klaren Rollenunterscheidungen hin zu agilen Strukturen verschoben haben, in denen diese Trennungen verschwimmen.
Ein Befund von 2020: Obwohl der Anteil agiler Projekte sehr hoch war, ordneten sich viele Teilnehmende weiterhin klassischen Rollen zu. Möglicherweise ist es sinnvoller, statt nach Rollen nach Kompetenzen zu fragen, also danach, wo jemand seine Hauptkompetenzen sieht. Dann wird die Selbstzuordnung verständlicher.
Über die Vorgehensmodelle hat sich das Verhältnis komplett gedreht. Lag der Anteil agiler Projekte zu Beginn bei etwa 25 Prozent gegenüber rund 75 Prozent traditionellen, phasenorientierten Modellen, ist es inzwischen genau umgekehrt. In der Praxis mischen sich die Modelle allerdings oft, weshalb die aktuelle Ausgabe hybride Verfahren als eigene Kategorie aufschlüsselt.
Agil sagen heißt nicht agil arbeiten
Die Umfrage prüft nicht nur, ob sich jemand als agil bezeichnet, sondern auch, welche agilen Praktiken er tatsächlich für die Qualitätssicherung wichtig findet. So lässt sich erkennen, ob ein agiles Mindset wirklich angekommen ist oder nur das Etikett.
Die Ergebnisse von 2020 zeigen ein klares Muster. Programmcode-nahe Praktiken hatten einen hohen Stellenwert. Organisatorische Praktiken, die den Mindset ausmachen, lagen deutlich zurück.
- Collective Code Ownership, also die gemeinsame Verantwortung aller für den Code, sahen nur etwa 50 Prozent als relevant an.
- Pair Programming wenden offenbar weniger als 50 Prozent an, obwohl es ein wichtiges Element der Qualitätssicherung ist.
Die starke Fixierung auf das eine Ziel, der Code muss laufen, hat sich verstärkt. Andere Aspekte geraten dabei in den Hintergrund. Wenn alle gemeinsam auf die Qualität schauen, ist das ein Sicherheitsnetz, das durch reine Lauffähigkeit nicht ersetzt wird.
Klassische Testverfahren verlieren an Sichtbarkeit
Klassische Testmethoden sind in der Praxis spürbar zurückgegangen. Äquivalenzklassen, Grenzwertanalyse, Anweisungs- und Entscheidungsüberdeckung spielen eine deutlich kleinere Rolle als früher.
Ein Detail sticht heraus: Der Anweisungstest, also der Test für eine Anweisungsüberdeckung, war 2020 bei 18 Prozent der Teilnehmenden überhaupt nicht bekannt. Für eine etablierte Methode ist das ein bemerkenswert hoher Wert.
Eine mögliche Erklärung ist die Automatisierung. In agilen Projekten mit kurzen Zyklen und Testautomatisierung liefert das Dashboard Kennzahlen wie die Anweisungsüberdeckung automatisch mit. Die Methode dahinter verschwindet im Werkzeug und wird nicht mehr als eigenständiges Verfahren wahrgenommen.
Daraus folgt eine offene Frage für die Qualitätssicherung. Wird Überdeckung nur noch genutzt, um zu prüfen, ob die vorhandenen Testfälle alles abdecken? Oder noch als Verfahren, um neue Testfälle systematisch zu erzeugen? Diese Verschiebung ist ein Hinweis darauf, wo Skills fehlen und wo Aus- und Weiterbildung ansetzen sollten.
Wie die aktuelle Ausgabe KI erfasst
Die aktuelle Umfrage geht gezielt auf KI ein. Eine allgemeine Frage zu KI war schon früher enthalten, sodass sich eine Entwicklung über die Zeit ablesen lässt. Neu hinzugekommen sind spezifische Fragen zum Einsatz auf verschiedenen Ebenen, von der Anforderungserzeugung bis zur Testfallerstellung.
Erhoben werden drei Dimensionen: ob KI bereits genutzt wird, welches Potenzial die Teilnehmenden darin sehen und ob für die jeweiligen Aufgaben externe Menschen eingesetzt werden. Die Verbindung dieser Fragen erlaubt eine Auswertung, die für sich genommen interessant ist.
Die offene Frage lautet, ob Organisationen, die KI nutzen, weniger externe Kräfte einsetzen. Ob es diese Korrelation gibt, lässt sich erst aus ausreichend vielen Antworten ablesen. Genau dafür braucht die Umfrage eine hohe Beteiligung.
Bei der Überarbeitung jeder Ausgabe werden alle Fragen geprüft. Themen, die keine neuen Erkenntnisse mehr liefern, fliegen raus. Fragen zu Outsourcing etwa wurden gestrichen, weil die letzten Durchläufe zeigten, dass dies kein relevantes Thema mehr ist.
Branche allein erklärt wenig
Über mehrere Auswertungen hinweg lassen sich keine großen branchentypischen Unterschiede erkennen. Das ist ein Befund, der einer naheliegenden Erwartung widerspricht.
Man würde annehmen, dass regulierte Bereiche wie Automotive oder Medizintechnik anders testen als der Rest. In den Daten zeigt sich dieser Unterschied nicht in der erwarteten Deutlichkeit. Für jeden, der seine eigene Arbeit an Branchennormen ausrichten will, ist das eine relevante Einordnung.
Wie du die Daten für dich nutzt
Die Ergebnisse funktionieren als Benchmark für die eigene Standortbestimmung. Du kannst die Werte heranziehen und prüfen, wo du selbst oder dein Unternehmen im Gesamtbild stehst.
Für Unternehmen liefern besonders die neueren Fragen Anknüpfungspunkte. Sehen viele Teilnehmende ein hohes Potenzial in KI, ist das ein Anstoß, selbst hineinzuschauen. Auch das Interesse im Schulungsbereich zeigt, wo Skills nachgefragt werden.
Für Selbstständige und Freelancer ist die Umfrage eine Orientierung am Markt. Sie hilft bei der Frage, wo eigene Weiterbildung sinnvoll ist und in welche Richtung man sich spezialisieren will. Auf Anfrage sind außerdem branchenspezifische Auswertungen möglich, etwa für den Finanz- oder Automotive-Bereich, soweit die Daten das hergeben.
Warum die Beteiligung über die Aussagekraft entscheidet
Die Qualität der Ergebnisse steht und fällt mit der Zahl der Antworten. Ohne ausreichend Teilnehmende lassen sich keine belastbaren Aussagen treffen, und dann nützt die Umfrage weder den Teilnehmenden noch den Auswertenden.
Es gibt drei Fragebögen für unterschiedliche Zielgruppen:
| Fragebogen | Zielgruppe | Umfang |
|---|---|---|
| Management | Führungskräfte | Kürzer, Fokus auf organisatorische Fragen und Rahmenbedingungen |
| Operativ Tätige | Tester, Testmanager | Ausführlicher, etwa eine halbe Stunde |
In den vergangenen drei Umfragen haben jeweils rund 1.000 Personen begonnen und etwa 700 bis 800 die Fragen bis zum Schluss beantwortet. Repräsentativ im strengen Sinn ist das nicht, dafür müsste ein Prozent aller im Bereich Tätigen teilnehmen. Für gute, belastbare Aussagen reicht die Grundlage trotzdem.
Die aktuelle Umfrage läuft vom 1. bis 30. September. Eine erste Management-Zusammenfassung folgt schnell danach, die ersten Ergebnisse mit Fokus auf KI werden Anfang November auf dem QS-Tag vorgestellt.
