Produkttesten bei Stiftung Warentest ist ein strukturierter Prozess, der rund eineinhalb Jahre vor Veröffentlichung beginnt. Ein Marktanalyst, ein Projektleiter und externe Prüfinstitute definieren gemeinsam ein Prüfprogramm, kaufen Produkte verdeckt ein und testen nach Normen sowie subjektiven Kriterien. Abgeschlossen wird jeder Test mit einem Verifikationsschritt, der Messdaten auf Konsistenz prüft.
Das Wichtigste in Kürze
- Stiftung Warentest plant Testthemen bis zu anderthalb Jahre im Voraus und orientiert sich dabei an Saisonalität, Nutzerfragen und Marktentwicklungen.
- Alle Produkte werden verdeckt eingekauft, damit Hersteller weder den Zeitpunkt noch den Umfang eines Tests kennen und keine Sonderware liefern können.
- Subjektive Kriterien wie Handhabung oder Gefühl werden durch Blindtests, geschulte Prüfgruppen und mitlaufende Referenzgeräte so weit wie möglich objektiviert.
- Jedes Testprojekt ist Teamarbeit: Marktanalysten, Projektleiter, Prüflabore und Redakteure bringen jeweils eigene Perspektiven ein, weil nüchterne Messdaten allein keine Geschichte erzählen.
- Hersteller erhalten vor Veröffentlichung die objektiven Messdaten, damit sie auf sicherheitskritische Befunde reagieren können, das Veröffentlichungsdatum bleibt ihnen aber unbekannt.
Was Stiftung Warentest mit Software-Testing verbindet
Beide Disziplinen prüfen aus der Perspektive des Nutzers, nicht aus der des Herstellers. Stiftung Warentest beschreibt sich als unabhängige Ewigkeitsstiftung mit dem Ziel, Verbrauchern eine selbstbestimmte Kaufentscheidung zu ermöglichen. Software-Tester verfolgen denselben Anspruch, wenn sie prüfen, ob ein Produkt das tut, was der Anwender erwartet.
Die gemeinsamen Werte heißen Objektivität, Unabhängigkeit und Transparenz. Wer testet, schlüpft in die Rolle des Endnutzers und fragt, ob das Produkt hält, was es verspricht. Diese Brille ist in beiden Welten der Ausgangspunkt jeder Prüfung.
Johannes Stiller bringt dafür ein Bild aus dem Verbraucherschutz mit: Die prüfende oder naturwissenschaftliche Sicht trifft auf die Frage, was für den Nutzer draußen relevant ist. Genau diese Spannung kennt auch jeder, der Software an realen Anforderungen misst statt an internen Spezifikationen.
Wie ein Testprozess entsteht: von der Idee bis zum Prüfprogramm
Ein Testprozess beginnt lange vor dem eigentlichen Test. Bei Stiftung Warentest liegt zwischen der ersten Themenidee und der Veröffentlichung oft ein Jahr bis anderthalb Jahre. Ein Test von Laufgeräten im Januar wurde entsprechend rund anderthalb Jahre vorher entschieden, auch weil die sportlichen Vorsätze zum Jahresanfang den Bedarf prägen.
Die Themen kommen aus mehreren Quellen. Nutzerfragen auf der eigenen Webseite, Marktbeobachtung und Vorschläge aus den Teams fließen zusammen. Jede Idee durchläuft eine kritische Bewertung nach klaren Kriterien.
Ein Thema kommt nur weiter, wenn es vier Bedingungen erfüllt:
- Es muss Sinn für den Verbraucher ergeben.
- Es muss testbar sein.
- Es muss für die Leser nutzbar und interessant sein.
- Es muss messbar gemacht werden können.
Aus der bestätigten Idee entsteht ein Prüfprogramm. Es orientiert sich an bestehenden Normen, sofern es welche gibt. Manchmal existiert keine Norm, manchmal ist sie gerade in Vorbereitung. Der Projektleiter beschäftigt sich intensiv mit dem Produkt und entwirft das Programm, das anschließend mehrfach gegengeprüft wird, bevor es an die Prüfinstitute geht.
Subjektive Kriterien lassen sich messbar machen
Auch weiche Kriterien werden nüchtern und vergleichbar geprüft. Handlichkeit, das Erreichen schwer zugänglicher Stellen oder das Gefühl beim Zähneputzen sind nicht objektiv messbar wie ein Stromverbrauch. Trotzdem dürfen sie nicht dem Zufall überlassen bleiben.
Die Vergleichbarkeit entsteht durch mehrere Mechanismen. Über längere Zeiträume prüfen möglichst dieselben Personen. Referenzgeräte laufen als feste Kandidaten mit, um Tests gegeneinander einordnen zu können. So bleibt ein Maßstab stabil, selbst wenn sich die Produkte ändern.
Voreingenommenheit wird gezielt herausgenommen. Produktnamen werden abgeklebt, Geräte unkenntlich gemacht, blind und in unterschiedlichen Reihenfolgen getestet. Wer prüft, soll nicht wissen, welches Markenprodukt vor ihm liegt.
Bei einem Test bewertet nicht eine einzelne Person ein einzelnes Gerät. Alle Prüfer testen wechselseitig verschiedene Geräte in verschiedenen Reihenfolgen, die Eindrücke werden gesammelt und zusammengeführt. Das verteilt subjektive Ausreißer über die Gruppe.
Wie die Testobjekte ausgewählt und beschafft werden
Die Geräte werden verdeckt eingekauft, nie vom Hersteller gestellt. Ein Hersteller kann seine eigene Waschmaschine nicht einreichen. Eigene Einkäufer besorgen die Produkte im Markt, ohne dass die Hersteller wissen, was wann gekauft wird.
Die Auswahl folgt dem Verbraucherblick. Ein Marktanalyst arbeitet in Vollzeit daran, den Markt zu beobachten: Wer sind die großen Player, wer bringt Innovation ein, was ist absatzstark. Ein Nischengerät, das kaum jemand kaufen kann, hilft dem Verbraucher nicht.
Für Dauerlauftests reicht ein Exemplar oft nicht. Es werden mehrere Geräte beschafft, um Belastung über Zeit prüfen zu können. Geht im Test etwas kaputt, wird nachgetestet, um das Ergebnis zu bestätigen.
Qualität entsteht im Team, nicht in der Einzelperson
Kein Test hängt an einer einzigen Person. Hinter einem Projekt steht eine Gruppe mit verschiedenen Rollen: der Projektleiter, ein Marktanalyst, die prüfende Seite und die Redaktion, die weiß, was für die Leser draußen zählt. Diese Mischung erinnert an das crossfunktionale Team in der Softwareentwicklung.
Die Diversität ist Absicht, kein Zufall. Wer die schärfste Analyse liefert, aber unverständlich bleibt, erreicht niemanden. Erst wenn die nüchternen Fakten auf eine erzählbare Geschichte treffen, wird aus Messdaten ein nützlicher Test: Was sind die Highlights, was die Schwächen, ist etwas gefährlich.
Es bringt ja nichts, wenn du die schickste Analysebrille aufhast und kein Mensch versteht es. — Johannes Stiller
Mehr Augen erzeugen nicht automatisch gleichförmige Antworten. Beim aufwendigen Verifikationsprozess fällt jedem Prüfer etwas anderes auf. Genau das macht die Prüfung stärker, statt sie zu glätten.
Warum am Ende noch einmal alles geprüft wird
Vor der Veröffentlichung steht ein zentraler Verifikationsschritt. Die Messdaten werden auf Fehler und Konsistenz geprüft. Erst danach gilt ein Ergebnis als belastbar.
Die Ergebnisse aller Prüfungen kommen in einem zentralen Meeting für jedes einzelne Thema zusammen. Dort wird besprochen, was herauskam und welche Geschichte sich daraus erzählen lässt. Dieser Termin liegt nur wenige Tage bis Wochen vor der Veröffentlichung, damit der Test so aktuell wie möglich und zugleich fundiert bleibt.
Diese Logik kennt jeder Tester: ein Befund ist erst dann ein Befund, wenn er reproduzierbar ist. Geht ein Gerät kaputt, wird nachgetestet, bis das Ergebnis bestätigt ist.
Wie mit Herstellern und schlechten Nachrichten umgegangen wird
Hersteller werden vor der Veröffentlichung informiert, aber ohne Einfluss auf das Ergebnis zu bekommen. Sie erfahren, dass sie getestet werden, kennen aber weder den Zeitpunkt des Einkaufs noch das Veröffentlichungsdatum. Die objektiven Messdaten werden ihnen mitgeteilt, samt kritischer Funde.
Bei sicherheitskritischen Befunden hat diese Kommunikation einen direkten Zweck. Bei Autokindersitzen, die aus der Halterung rissen, wurden die Hersteller vorab informiert. Die Fragen dahinter: Wie reagiert ihr, könnt ihr Kulanz anbieten, gibt es einen Materialfehler oder ein Problem in der Charge.
Die Reaktionen fallen sehr unterschiedlich aus. Manche Hersteller führen einen kooperativen Dialog, andere klagen auf Unterlassung, selbst bei einem zweiten Platz. Über die Jahre lässt sich bei manchen Produktgruppen wie Matratzen oder Akkustaubsaugern eine Entwicklung beobachten: Anfangs funktioniert wenig, mit der Zeit wird es besser.
Der Tester als Überbringer schlechter Nachrichten ist eine vertraute Rolle. Wer Mängel meldet, wird im ersten Moment leicht angefeindet, obwohl die Prüfung dem Produkt und dem Nutzer dient. Tragfähig wird diese Position nur durch belegbare Spielregeln, an die man sich konsequent hält.
Transparenz als Fundament der Glaubwürdigkeit
Nachvollziehbare Methodik ist die Grundlage des Vertrauensvorschusses. Stiftung Warentest legt die Prüfbedingungen offen und verweist auf die zugrunde liegenden Normen. Im Heft steht eine kompakte Box “So haben wir getestet”, online folgt die ausführlichere Fassung mit mehr Details.
Diese Offenheit ist auch eine Verpflichtung. Eine klare Mission muss vertreten werden, und die Einhaltung der eigenen Regeln muss belegbar sein. Für Software-Tester gilt dasselbe Prinzip: Ein Befund überzeugt erst, wenn nachvollziehbar ist, wie er zustande kam.
Der Kontakt zu den Nutzern bleibt offen. Feedback über E-Mail-Postfächer und Forumsbeiträge wird beobachtet, Hinweise auf neue Aspekte oder Veränderungen fließen in die Arbeit zurück. Wer für den Anwender prüft, hört dem Anwender auch zu.
