Staubsauger, Zahnbürsten, Laptops – seit Jahrzehnten prüft die Stiftung Warentest Produkte auf Herz und Nieren. Doch wie entsteht so ein Test eigentlich, wer kauft die Geräte ein und wie werden weiche Kriterien wie Handhabung vergleichbar gemacht? Die Antwort: mit crossfunktionalen Teams, verdeckten Einkäufern, strikten Verifikationsprozessen und einer klaren Mission: Unabhängigkeit und Transparenz. Für Software-Tester ergeben sich überraschende Parallelen – von der Nutzerbrille bis zum Umgang mit unbequemen Testergebnissen.
In dieser Episode spreche ich mit Johannes Stiller von der Stiftung Warentest darüber, wie eine der bekanntesten Verbraucherorganisationen Deutschlands testet – und wo die Parallelen zu unserem Software Testing liegen. Johannes gibt Einblick, wie bereits anderthalb Jahre vor Veröffentlichung entschieden wird, welche Produkte geprüft werden, wie verdeckte Einkäufer Zahnbürsten und Laptops anonym beschaffen und warum subjektive Kriterien wie "Handlichkeit" trotzdem messbar werden. Besonders spannend: die Rolle crossfunktionaler Teams, der Verifikationsprozess kurz vor Go-Live und der Umgang mit Herstellern, die manchmal nicht gerade begeistert auf Testergebnisse reagieren. Wer wissen will, wie Objektivität, Transparenz und Unabhängigkeit in der Praxis aussehen, sollte reinhören.
„Es kommt durchaus häufiger vor, dass wir da die Überbringer der schlechten Nachricht sind." - Johannes Stiller
Johannes Stiller schloss 2016 seine Promotion im Bereich der nuklearen Kern- und Teilchenphysik in Heidelberg ab. Während dieser Zeit arbeitete er intensiv vor Ort am CERN am ALICE-Experiment. Aufgrund seiner Expertise in Tracking-Algorithmen wechselte er anschließend in die Softwareentwicklung der Automobilindustrie. Ein wesentlicher Meilenstein war seine maßgebliche Beteiligung an den Sicherheitsbremssystemen für das autonome Parkshuttle-System Parkshuttle Rivium. Nach seinem Umzug nach Berlin widmete er sich im VW-Konzern der Serienentwicklung von Fahrassistenzsystemen wie dem Emergency Assist und dem Travel Assist, inklusive der ASPICE-konformen Entwicklung, Prüfung und Freigabe. Seit August 2025 bekleidet Johannes Stiller eine leitende Funktion bei der Stiftung Warentest, wobei ihn besonders die Möglichkeit motiviert, vielseitige Themen auf wissenschaftlich fundierter Basis zu bearbeiten.
Bei Softwaretests denken wir oft an Quellcode, Bugs und automatisierte Test-Suiten. Dass es aber auch beim Testen von Zahnbürsten, Laptops und Laufbändern strukturell viele Parallelen und Aha-Erlebnisse gibt, wurde im Gespräch zwischen Richie und Johannes Stiller von Stiftung Warentest deutlich.
Stiftung Warentest ist seit Jahrzehnten eine Institution, wenn es um unabhängige Verbrauchertests geht. Ihr oberstes Ziel: Produkttests, die Verbraucher unterstützen, damit diese eigenständig gute Entscheidungen treffen können. Die Tester dort verstehen sich dabei als neutrale Vertreter der Nutzersicht – ganz ähnlich wie Softwaretester, die versuchen, Schwächen oder Stärken für Endnutzer rauszufinden.
Ein Heft voll frisch getesteter Geräte, von Matratzen bis Laptops, erscheint für viele als Selbstverständlichkeit. Doch der Weg bis zum Test ist lang. Themenideen werden teils eineinhalb Jahre im Voraus gesammelt und geplant 05:07. Grundlage für die Auswahl ist, was Verbraucher beschäftigt. Das Team wertet dazu Anfragen auf der eigenen Website aus und beobachtet aktuelle Markttrends und Saisonalitäten. Der Wunsch: Tests müssen sinnvoll für die Nutzer sein, aktuell und praktisch messbar bleiben.
Aber auch die Abstimmung ist wichtig. Ein Beratungsgremium prüft die Vorschläge kritisch, gern auch anhand der Frage: Kann man ein Produkt überhaupt fair vergleichen? Am Ende entsteht ein klarer Themenplan, den verschiedene Teammitglieder gemeinsam gestalten.
Die Umsetzung beginnt mit dem Prüfprogramm. Dieses orientiert sich an existierenden Normen – oder diese werden, sofern nicht vorhanden, nach bestem Wissen und mit Blick auf die Praxis selbst erstellt 08:02. Die Organisation dahinter: Ein Projektleiter widmet sich intensiv dem Produkt, entwickelt das Prüfprogramm, holt Feedback von externen Prüfinstituten und Mitstreitern ein. Die Testkriterien reichen von objektiv messbaren Dingen wie Stromverbrauch bis hin zu subjektiveren Eindrücken, etwa der Handhabung einer Zahnbürste.
Gerade bei Kriterien, die sich schwer messen lassen, werden Testgruppen sorgfältig geschult und Produkte zum Beispiel abgedeckt, damit sie die Marken nicht erkennen können. So minimieren sie Vorurteile und sichern eine Vergleichbarkeit – ähnlich wie beim Blindtest. Die Ergebnisse verschiedener Tester werden zusammengeführt, sodass sich ein aussagekräftiges Gesamtbild ergibt.
Besonders spannend für die Softwarewelt: Stiftung Warentest baut bewusst auf interdisziplinäre Teams. Marktanalysten bestimmen, welche Produkte oder Innovationen gerade relevant sind. Naturwissenschaftler, Techniker, Redakteure und Konsumenten-Vertreter diskutieren die Auswahl und Testdurchführung gemeinsam. Johannes Stiller betont, dass diese Mischung aus Marktorientierung, Fachwissen und klaren Abläufen für solide Testergebnisse sorgt.
Auch in der Softwareentwicklung profitieren Qualitätsteams davon, wenn technisches Verständnis, Anwendersicht und Marktgespür zusammenwirken, so wie es die cross-funktionalen Teams in der IT vormachen. Am Ende zählt, dass nicht nur die technische Analyse stimmt, sondern dass die Testergebnisse verständlich und nachvollziehbar für die Kunden sind.
Ein weiterer Punkt: Transparenz und Kommunikation. Bevor Ergebnisse veröffentlicht werden, gibt es einen kritischen Verifikationsprozess. Das Team prüft gemeinsam alle Messdaten, fragt nach Auffälligkeiten und prüft nochmal die Konsistenz 18:36. Hersteller werden informiert, haben aber keinen Einfluss auf Inhalt oder Zeitpunkt der Veröffentlichung. Problematische Produkte werden sogar vorab an die Unternehmen gemeldet, um Verbraucher zu schützen.
Natürlich ist Stiftung Warentest nicht immer beliebt – manche Hersteller reagieren nervös oder sogar aggressiv, wenn ihr Produkt schlecht abschneidet 21:58. Doch der langfristige Einfluss auf Produktqualität zeigt sich darin, dass viele Unternehmen ihre Entwicklung an den Erkenntnissen solcher Tests ausrichten.
Auch User melden sich: Sie geben Rückmeldung, kritisieren, machen Vorschläge. Johannes Stiller erwähnt einen wachen Leserservice, der Hinweise aus der Community aufnimmt. So bleibt das Testen ein lebendiger, offener Prozess.
Ob Testen von Laufbändern, Laptops oder Softwaremodulen: Am Ende geht es immer um das ehrliche Feedback, verlässliche Kriterien und den klaren Fokus auf die Nutzerperspektive. Offenheit, Teamarbeit, Transparenz und eine gute Portion Ausdauer zeichnen sowohl die Stiftung Warentest als auch erfolgreiche Softwaretesting-Teams aus.
Wer noch Inspirationen für den nächsten Softwaretest braucht, findet im Blick auf andere Prüfwelten jede Menge wertvolle Anregungen – und vielleicht auch ein bisschen Bestätigung für die eigene Arbeit.