Die Software-Test-Umfrage ist eine seit 2011 alle paar Jahre durchgeführte Langzeitstudie zur Lage des Softwaretestens im deutschsprachigen Raum. Sie erfasst Rollen, Methoden, Projektmodelle und Werkzeuge. Die Ergebnisse zeigen unter anderem, wie sich der Anteil agiler Projekte verschoben hat und wie verbreitet konkrete Testverfahren wie Äquivalenzklassenbildung oder Anweisungsüberdeckung tatsächlich sind.
Das Wichtigste in Kürze
- Die Software-Test-Umfrage erscheint seit 2011 alle paar Jahre und liefert damit 2024 erstmals Vergleichsdaten über einen Zeitraum von knapp 15 Jahren.
- Agile Praktiken mit starkem Codebezug haben einen hohen Stellenwert, während nur etwa 50 Prozent der Befragten Collective Code Ownership als relevant einstuften und weniger als die Hälfte Pair Programming anwendet.
- Klassische Testverfahren wie Äquivalenzklassenmethode und Anweisungsüberdeckung sind rückläufig; 18 Prozent der Befragten kannten Anweisungsüberdeckung als Testmethode 2020 überhaupt nicht.
- Die aktuelle Umfrage fragt erstmals gezielt nach KI-Einsatz auf verschiedenen Ebenen, von der Anforderungserzeugung bis zur Testfallerstellung, und stellt diese Nutzung dem Einsatz externer Dienstleister gegenüber.
- Alle Ergebnisse, von der Management-Zusammenfassung bis zum technischen Report mit Rohdaten, sind öffentlich und kostenlos zugänglich, weil die beteiligten Hochschulen öffentlich finanzierte Arbeitszeit einbringen.
Was die Software-Test-Umfrage misst
Die Software-Test-Umfrage ist eine wiederkehrende Erhebung zum Stand des Testens in der Praxis, die seit 2011 alle paar Jahre durchgeführt wird. Sie erfasst, wie Tester, Testmanager und Unternehmen im deutschsprachigen Raum arbeiten, welche Verfahren sie nutzen und wie sich Projekte über die Zeit verändern.
Bisher gab es Durchläufe in den Jahren 2011, 2015/16 und 2020. Mit der aktuellen Ausgabe liegen Daten über fast 15 Jahre vor, was Vergleiche über einen langen Zeitraum erlaubt. Genau diese Langzeitperspektive ist der Kern des Projekts.
Getragen wird die Umfrage heute vom German Testing Board zusammen mit beteiligten Hochschulen. Eine ursprünglich beteiligte Firma wurde nach Rückmeldungen bewusst herausgenommen, um die Daten als unabhängig erkennbar zu machen und Vorbehalte gegenüber einem Firmenkontext zu vermeiden.
Warum die Ergebnisse offen zugänglich sind
Alle Ergebnisse der Software-Test-Umfrage sind öffentlich abrufbar. Das ist keine Nebensache, sondern eine bewusste Grundsatzentscheidung der Beteiligten.
Der Grund liegt in der Finanzierung. Die Arbeit der Hochschulen fließt mit öffentlichen Mitteln in das Projekt. Daraus leitet sich ein klares Prinzip ab: Was öffentlich finanziert wird, soll auch öffentlich zugänglich sein.
Solange Hochschulen daran beteiligt sind, wird man das gar nicht anders machen können. Was öffentlich finanziert ist, muss auch öffentlich zugänglich sein.
Karin Vosseberg
Die Veröffentlichung erfolgt in mehreren Stufen für unterschiedliche Leserkreise. Zuerst eine Management-Zusammenfassung mit den auffälligsten Punkten, dann eine kompaktere Broschüre mit den wichtigsten Ergebnissen, schließlich ein ausführlicher technischer Report mit mehreren hundert Seiten und allen Rohdaten. Für die meisten Leser haben die Zusammenfassung und die Kurzbroschüre den größten Nutzen.
Was die Umfrage inhaltlich abfragt
Die Umfrage beginnt mit der Frage, welcher Rolle sich die Teilnehmenden zuordnen. Das ist gerade vor dem Hintergrund interessant, dass sich Projektlandschaften von klaren Rollenunterscheidungen hin zu agilen Strukturen verschoben haben, in denen diese Trennungen verschwimmen.
Ein Befund von 2020: Obwohl der Anteil agiler Projekte sehr hoch war, ordneten sich viele Teilnehmende weiterhin klassischen Rollen zu. Möglicherweise ist es sinnvoller, statt nach Rollen nach Kompetenzen zu fragen, also danach, wo jemand seine Hauptkompetenzen sieht. Dann wird die Selbstzuordnung verständlicher.
Über die Vorgehensmodelle hat sich das Verhältnis komplett gedreht. Lag der Anteil agiler Projekte zu Beginn bei etwa 25 Prozent gegenüber rund 75 Prozent traditionellen, phasenorientierten Modellen, ist es inzwischen genau umgekehrt. In der Praxis mischen sich die Modelle allerdings oft, weshalb die aktuelle Ausgabe hybride Verfahren als eigene Kategorie aufschlüsselt.
Agil sagen heißt nicht agil arbeiten
Die Umfrage prüft nicht nur, ob sich jemand als agil bezeichnet, sondern auch, welche agilen Praktiken er tatsächlich für die Qualitätssicherung wichtig findet. So lässt sich erkennen, ob ein agiles Mindset wirklich angekommen ist oder nur das Etikett.
Die Ergebnisse von 2020 zeigen ein klares Muster. Programmcode-nahe Praktiken hatten einen hohen Stellenwert. Organisatorische Praktiken, die den Mindset ausmachen, lagen deutlich zurück.
- Collective Code Ownership, also die gemeinsame Verantwortung aller für den Code, sahen nur etwa 50 Prozent als relevant an.
- Pair Programming wenden offenbar weniger als 50 Prozent an, obwohl es ein wichtiges Element der Qualitätssicherung ist.
Die starke Fixierung auf das eine Ziel, der Code muss laufen, hat sich verstärkt. Andere Aspekte geraten dabei in den Hintergrund. Wenn alle gemeinsam auf die Qualität schauen, ist das ein Sicherheitsnetz, das durch reine Lauffähigkeit nicht ersetzt wird.
Klassische Testverfahren verlieren an Sichtbarkeit
Klassische Testmethoden sind in der Praxis spürbar zurückgegangen. Äquivalenzklassen, Grenzwertanalyse, Anweisungs- und Entscheidungsüberdeckung spielen eine deutlich kleinere Rolle als früher.
Ein Detail sticht heraus: Der Anweisungstest, also der Test für eine Anweisungsüberdeckung, war 2020 bei 18 Prozent der Teilnehmenden überhaupt nicht bekannt. Für eine etablierte Methode ist das ein bemerkenswert hoher Wert.
Eine mögliche Erklärung ist die Automatisierung. In agilen Projekten mit kurzen Zyklen und Testautomatisierung liefert das Dashboard Kennzahlen wie die Anweisungsüberdeckung automatisch mit. Die Methode dahinter verschwindet im Werkzeug und wird nicht mehr als eigenständiges Verfahren wahrgenommen.
Daraus folgt eine offene Frage für die Qualitätssicherung. Wird Überdeckung nur noch genutzt, um zu prüfen, ob die vorhandenen Testfälle alles abdecken? Oder noch als Verfahren, um neue Testfälle systematisch zu erzeugen? Diese Verschiebung ist ein Hinweis darauf, wo Skills fehlen und wo Aus- und Weiterbildung ansetzen sollten.
Wie die aktuelle Ausgabe KI erfasst
Die aktuelle Umfrage geht gezielt auf KI ein. Eine allgemeine Frage zu KI war schon früher enthalten, sodass sich eine Entwicklung über die Zeit ablesen lässt. Neu hinzugekommen sind spezifische Fragen zum Einsatz auf verschiedenen Ebenen, von der Anforderungserzeugung bis zur Testfallerstellung.
Erhoben werden drei Dimensionen: ob KI bereits genutzt wird, welches Potenzial die Teilnehmenden darin sehen und ob für die jeweiligen Aufgaben externe Menschen eingesetzt werden. Die Verbindung dieser Fragen erlaubt eine Auswertung, die für sich genommen interessant ist.
Die offene Frage lautet, ob Organisationen, die KI nutzen, weniger externe Kräfte einsetzen. Ob es diese Korrelation gibt, lässt sich erst aus ausreichend vielen Antworten ablesen. Genau dafür braucht die Umfrage eine hohe Beteiligung.
Bei der Überarbeitung jeder Ausgabe werden alle Fragen geprüft. Themen, die keine neuen Erkenntnisse mehr liefern, fliegen raus. Fragen zu Outsourcing etwa wurden gestrichen, weil die letzten Durchläufe zeigten, dass dies kein relevantes Thema mehr ist.
Branche allein erklärt wenig
Über mehrere Auswertungen hinweg lassen sich keine großen branchentypischen Unterschiede erkennen. Das ist ein Befund, der einer naheliegenden Erwartung widerspricht.
Man würde annehmen, dass regulierte Bereiche wie Automotive oder Medizintechnik anders testen als der Rest. In den Daten zeigt sich dieser Unterschied nicht in der erwarteten Deutlichkeit. Für jeden, der seine eigene Arbeit an Branchennormen ausrichten will, ist das eine relevante Einordnung.
Wie du die Daten für dich nutzt
Die Ergebnisse funktionieren als Benchmark für die eigene Standortbestimmung. Du kannst die Werte heranziehen und prüfen, wo du selbst oder dein Unternehmen im Gesamtbild stehst.
Für Unternehmen liefern besonders die neueren Fragen Anknüpfungspunkte. Sehen viele Teilnehmende ein hohes Potenzial in KI, ist das ein Anstoß, selbst hineinzuschauen. Auch das Interesse im Schulungsbereich zeigt, wo Skills nachgefragt werden.
Für Selbstständige und Freelancer ist die Umfrage eine Orientierung am Markt. Sie hilft bei der Frage, wo eigene Weiterbildung sinnvoll ist und in welche Richtung man sich spezialisieren will. Auf Anfrage sind außerdem branchenspezifische Auswertungen möglich, etwa für den Finanz- oder Automotive-Bereich, soweit die Daten das hergeben.
Warum die Beteiligung über die Aussagekraft entscheidet
Die Qualität der Ergebnisse steht und fällt mit der Zahl der Antworten. Ohne ausreichend Teilnehmende lassen sich keine belastbaren Aussagen treffen, und dann nützt die Umfrage weder den Teilnehmenden noch den Auswertenden.
Es gibt drei Fragebögen für unterschiedliche Zielgruppen:
| Fragebogen | Zielgruppe | Umfang |
|---|---|---|
| Management | Führungskräfte | Kürzer, Fokus auf organisatorische Fragen und Rahmenbedingungen |
| Operativ Tätige | Tester, Testmanager | Ausführlicher, etwa eine halbe Stunde |
In den vergangenen drei Umfragen haben jeweils rund 1.000 Personen begonnen und etwa 700 bis 800 die Fragen bis zum Schluss beantwortet. Repräsentativ im strengen Sinn ist das nicht, dafür müsste ein Prozent aller im Bereich Tätigen teilnehmen. Für gute, belastbare Aussagen reicht die Grundlage trotzdem.
Die aktuelle Umfrage läuft vom 1. bis 30. September. Eine erste Management-Zusammenfassung folgt schnell danach, die ersten Ergebnisse mit Fokus auf KI werden Anfang November auf dem QS-Tag vorgestellt.
Häufig gestellte Fragen
Wie oft erscheint die Software-Test-Umfrage, und über welchen Zeitraum reichen ihre Daten?
Die Erhebung läuft seit 2011 in Abständen von etwa vier Jahren. Durchläufe gab es 2011, 2015/16 und 2020, mit der Ausgabe von 2024 liegen Vergleichsdaten über knapp 15 Jahre vor. Diese Langzeitperspektive ist der Kern des Projekts: Ein einzelner Wert sagt weniger als die Verschiebung über mehrere Durchläufe hinweg.
Wer steht hinter der Umfrage, und wie unabhängig sind die Daten?
Getragen wird sie vom German Testing Board zusammen mit beteiligten Hochschulen. Eine ursprünglich beteiligte Firma wurde nach Rückmeldungen bewusst herausgenommen, damit die Daten als unabhängig erkennbar sind. Weil die Hochschulen öffentlich finanzierte Arbeitszeit einbringen, sind alle Ergebnisse kostenlos zugänglich: Management-Zusammenfassung, Kurzbroschüre und ein technischer Report mit Rohdaten.
Wie hat sich das Verhältnis von agilen und klassischen Vorgehensmodellen verschoben?
Es hat sich umgedreht. Zu Beginn der Erhebungen standen etwa 25 Prozent agile Projekte rund 75 Prozent traditionellen, phasenorientierten Modellen gegenüber, in den späteren Durchläufen war das Verhältnis genau umgekehrt. Weil sich beide Ansätze in der Praxis oft mischen, schlüsselt die Ausgabe von 2024 hybride Verfahren als eigene Kategorie auf.
Woran lässt sich erkennen, ob ein Team wirklich agil arbeitet oder nur das Etikett trägt?
An den Praktiken, die für die Qualitätssicherung als wichtig gelten. 2020 hatten programmcodenahe Praktiken einen hohen Stellenwert, organisatorische Praktiken lagen deutlich zurück: Collective Code Ownership hielten nur etwa 50 Prozent für relevant, Pair Programming wenden offenbar weniger als die Hälfte an. Die Selbstbezeichnung agil sagt also wenig über das Mindset.
Ist die Anweisungsüberdeckung in der Praxis noch bekannt?
Nur eingeschränkt. 18 Prozent der Teilnehmenden kannten den Anweisungstest 2020 überhaupt nicht als Methode, ein bemerkenswert hoher Wert für ein etabliertes Verfahren. Eine Erklärung ist die Automatisierung: Das Dashboard liefert die Überdeckungskennzahl mit, die Methode verschwindet im Werkzeug. Offen bleibt, ob Überdeckung noch dazu dient, systematisch neue Testfälle zu erzeugen.
Was wird zum Einsatz von KI im Softwaretest erhoben?
Drei Dimensionen: ob KI bereits genutzt wird, welches Potenzial die Teilnehmenden darin sehen und ob für dieselben Aufgaben externe Menschen eingesetzt werden. Gefragt wird nach mehreren Ebenen, von der Anforderungserzeugung bis zur Testfallerstellung. Dahinter steht die Frage, ob Organisationen mit KI-Einsatz weniger externe Kräfte beschäftigen. Dafür braucht es viele Antworten.
Testen regulierte Branchen wie Automotive oder Medizintechnik anders als andere?
In den Daten zeigt sich dieser Unterschied nicht in der erwarteten Deutlichkeit. Über mehrere Auswertungen hinweg ließen sich keine großen branchentypischen Unterschiede erkennen. Wer die eigene Arbeit an Branchennormen ausrichtet, sollte das einordnen. Auf Anfrage sind branchenspezifische Auswertungen möglich, etwa für den Finanz- oder Automotive-Bereich, soweit die Datenlage es hergibt.
Wie belastbar sind die Ergebnisse einer solchen Umfrage?
In den vergangenen drei Durchläufen begannen jeweils rund 1.000 Personen den Fragebogen, 700 bis 800 antworteten bis zum Schluss. Repräsentativ im strengen Sinn ist das nicht, dafür müsste ein Prozent aller im Bereich Tätigen teilnehmen. Für belastbare Aussagen und als Benchmark zur eigenen Standortbestimmung reicht die Grundlage.
