Die vergessene Macht der Testentwurfstechniken

Testentwurfsverfahren sind strukturierte Methoden zur Auswahl von Testfällen, die eine messbare Überdeckung eines Systems unter Test nachweisen. Sie lassen sich in vier Gruppen einteilen: datenorientiert (Äquivalenzklassenbildung, Grenzwertanalyse), zustandsorientiert (Entscheidungstabellen), prozessorientiert (Pfad-Tests) und erscheinungsorientiert (syntaktische und nicht-funktionale Tests). Die Kenntnis von mindestens einer Technik pro Gruppe verhindert, dass du die falsche Methode auf ein bestimmtes Problem anwendest.

Das Wichtigste in Kürze

• Die Einteilung der Testentwurfstechniken in vier Kategorien (Daten, Bedingung, Prozess, Erscheinungsbild) ermöglicht es den Testern, vor der Auswahl einer bestimmten Technik zu erkennen, welche Kategorie zu ihrem Problem passt.
• Zu viele Techniken auf einmal zu lehren, geht nach hinten los: TMAP hat die Anforderungen im Grundkurs von 19 auf fünf Techniken reduziert, damit die Lernenden die tatsächliche Arbeitsweise beherrschen und sich nicht nur an die Prüfung erinnern.
• Bedingungsorientierte Verfahren wie Entscheidungstabellen scheitern, wenn das zugrunde liegende Problem datenorientiert ist, so dass die Wahl der falschen Kategorie zu Testfällen mit geringem Wert führt, unabhängig davon, wie rigoros das Verfahren angewendet wird.
• Die Entscheidungsüberdeckung ist für Unit-Tests sinnvoller als die Zeilenüberdeckung, weil Entscheidungen und nicht Bewegungsanweisungen das eigentliche Risiko in der Softwarelogik darstellen.

Warum Tester Testentwurfsverfahren lernen und sie dann nie anwenden

Die meisten Tester können eine Handvoll Testentwurfstechniken nennen. Nur wenige von ihnen wenden diese Techniken in ihrer täglichen Arbeit an. Rik Marselis, der seit fast 25 Jahren Testentwurfstechniken unterrichtet, nennt zwei Gründe für diese Lücke.

Der erste ist, dass niemand nach ihnen fragt. Wenn ein System in einem schlechten Zustand ist, findet man Fehlerzustände auf Knopfdruck. Es gibt keinen offensichtlichen Bedarf für eine strukturierte Technik, weil die Fehler von selbst auftauchen.

Der zweite Grund hat auf lange Sicht mehr Gewicht. Der Wert von Testentwurfsverfahren zeigt sich, wenn die Qualität bereits gut ist oder wenn du eine überzeugende Antwort über die Qualität geben musst. Mit einer Technik kannst du zeigen, welche Überdeckung du tatsächlich hast, bezogen auf das Risiko, das dir wichtig ist.

Zu viele Techniken sind Teil des Problems

Die Vermittlung von 15 bis 20 Techniken führt zu Testern, die Prüfungen bestehen und nichts anwenden. In der ISTQB Foundation, dem Advanced Test Analyst und dem Advanced Technical Test Analyst lernt ein Lernender zwischen 15 und 20 Testentwurfsverfahren kennen. Untersuchungen von Rik und seinem Kollegen Bert gehen davon aus, dass es insgesamt etwa 25 bis 30 Techniken gibt, wobei die genaue Zahl umstritten ist, da es sich bei einigen eher um Varianten anderer Techniken als um eigenständige Techniken handelt.

Diese Menge ist die Falle. Frühere TMAP-Zertifizierungen setzten die Beherrschung von 19 Techniken und Ansätzen voraus, was in einem dreitägigen Kurs nicht realistisch ist. Was du dort wirklich lernst, ist, wie du in einer Prüfung das richtige A, B, C oder D ankreuzt, und nicht, wie du eine Technik anwendest, wenn die Situation chaotischer ist als jede Prüfungsfrage.

Ein überarbeitetes TMAP-Zertifizierungsschema hat das Startset stark reduziert. Der erste Kurs, “Qualität für funktionsübergreifende Teams”, vermittelt fünf Techniken und eine Herangehensweise, wobei mehr Zeit und mehr Übungen vorgesehen sind, damit die Lernenden sie tatsächlich auf Anfängerniveau anwenden können. Es geht darum, die Hürde zu nehmen, eine Technik richtig zu lernen, denn viele Tester bestehen sie nie.

Die vier Gruppen, die das Erlernen der Techniken erleichtern

Jedes Testentwurfsverfahren lässt sich in eine von vier Gruppen einordnen, und die Gruppen zu kennen ist wichtiger als den Katalog auswendig zu lernen. Rik und Bert haben diese Struktur in ihrer Forschung gefunden, und sie gibt einem Tester eine Landkarte anstelle einer langen Liste.

• Prozessorientierte Techniken decken die Abläufe in einem System ab. Das Testen von Pfaden mit seinen Stufen der Pfadabdeckung gehört hierher, ebenso wie das Testen von Zustandsübergängen mit Zustandsabdeckung und Übergangsabdeckung.
• Bedingungsorientierte Techniken arbeiten von Bedingungen zu Ergebnissen. Die Entscheidungstabelle ist das deutlichste Beispiel, bei dem die Testfälle von den Bedingungen abhängen.
• Datenorientierte Techniken behandeln Datenelemente und ihre Partitionen. Die Äquivalenzklassenbildung ist hier angesiedelt.
• Erscheinungsbild befasst sich damit, wie sich das System nach außen hin zeigt. Das reicht von syntaktischen Tests (Platzierung von Schaltflächen, Schriftart, Farben, Style Guide) bis hin zu nicht-funktionalen Aspekten wie Gebrauchstauglichkeit und Performance.

Die praktische Regel lautet, dass du mindestens ein oder zwei Techniken pro Gruppe kennen solltest. Wenn du nur Techniken aus einer einzigen Gruppe kennst, wirst du zum falschen Werkzeug greifen.

Rik coachte ein Team, das sich für den elementaren Vergleichstest entschieden hatte, eine leistungsstarke, zustandsorientierte Technik mit hoher Effizienz und Effektivität. Sie wollten ihn überall einsetzen. Als es ihnen immer wieder fehlschlug, war die Ursache einfach: Ihr Problem war datenorientiert, und eine zustandsorientierte Technik kann ein datenorientiertes Problem nicht lösen.

Das Fünf-Techniken-Starterset

Ein praktischer Werkzeugkasten beginnt mit einer Technik pro Gruppe und einem erfahrungsbasierten Ansatz. Der TMAP-Starterkurs vermittelt fünf Techniken, die sich auf die vier Gruppen verteilen:

Ein zweiter Kurs, High-Performance Quality Engineering, fügt eine weitere Technik pro Gruppe hinzu. Nach beiden Kursen verfügt ein Tester über etwa zehn Techniken und zwei Ansätze. Dieses Set deckt ab, was etwa 90 Prozent der Tester im Laufe ihrer Karriere brauchen werden.

Wie Vorlagen eine schwierige Technik lehrbar machen

Eine gute Vorlage nimmt dir den schwierigsten Teil beim Erlernen einer Technik ab: den Aufbau der Struktur von Grund auf. Entscheidungstabellentests waren immer schwierig zu unterrichten, wie ein langjähriger TMAP-Lehrer zugab. Eine herunterladbare Vorlage hat das geändert.

Mit der Vorlage musst du den Leuten nicht mehr beibringen, wie man die Tabelle zeichnet. Du zeigst ihnen, wie die Tabelle aussieht und wo jeder Teil hingehört. Sie füllen die Bedingungen und Aktionen aus und berechnen dann das erwartete Ergebnis aus den Wahr-Falsch-Kombinationen. Das erwartete Ergebnis ist der Kern eines jeden Testfalls, und die Vorlage macht den Weg dorthin frei.

Die gleiche Schritt-für-Schritt-Logik gilt für das Testen von Pfaden. Wenn du den Schritten folgst, kommst du zu deinen Testfällen und kannst die erreichte Überdeckung nachweisen.

So wählst du die richtige Technik für das Problem

Vier Faktoren entscheiden darüber, welche Technik passt, und das Risiko ist nur einer davon. Das TMAP-Buch nennt alle vier, und ein Tester, der sie abwägt, vermeidet es, sich auf einen Favoriten festzulegen.

Beginne mit der Art deines Test-Problems, das dir sagt, aus welcher Gruppe du auswählen musst. Dann folgt das Qualitätsmerkmal: Die Leistung zum Beispiel führt dich schnell in die Gruppe der Erscheinungsbilder. An dritter Stelle steht das Risiko, wobei drei Stufen ausreichen.

Beim Risiko solltest du dem Drang nach Quantifizierung widerstehen. Wenn jemand auf einem Prozentsatz besteht, frage, ob 72 Prozent einen bedeutenden Unterschied zu 69 Prozent darstellen. Gering, mittel, hoch ist ausreichend, denn die Techniken selbst bieten selten mehr als drei Stufen der Überdeckung. Ein höheres Risiko bedeutet mehr Überdeckung und eine gründlichere Technik.

Der vierte Faktor sind die Fähigkeiten der beteiligten Personen. Wenn das Team eine Technik nicht kennt, hast du zwei Möglichkeiten: Wähle eine Technik aus, die sie bereits kennen, oder bringe ihnen die passende Technik bei.

Überdeckung und Erfahrung gehören zusammen

Die Überdeckung beweist, dass du alles getestet hast, was wichtig ist; die Erfahrung fängt auf, was die Überdeckung übersehen hat. Keines von beiden ersetzt das andere. TMAP rät, erfahrungsbasierte Testverfahren wie exploratives Testen mit strukturierten Testentwürfen zu kombinieren.

Rik hat dies bei der Anleitung von Business Analysten erlebt, die funktionale Abnahmetests durchführen. Da sie über gute Prozessabläufe verfügten, waren sie prädestiniert für Pfad-Tests, auch bekannt als Prozesszyklus-Tests. Er unterrichtete sie in einer eineinhalbstündigen Sitzung, führte eine Übung durch und kehrte dann für eine zweistündige Sitzung mit einem ihrer echten Prozessabläufe zurück, um die Testfälle daraus zu entwickeln.

Wenn sie bemerkten, dass ihre Pfade eine bestimmte Situation nicht abdeckten, war die Antwort nicht, die Struktur aufzugeben.

Füge ruhig einen zusätzlichen Testfall hinzu, der auf deinen Erfahrungen beruht, aber wirf nicht einen anderen weg, weil du deine Überdeckung brauchst.

• Rik Marselis

Das ist der Treffpunkt von überdeckungsbasierten und erfahrungsbasierten Tests. Die Technik garantiert die Basislinie. Die Erfahrung fügt hinzu, was die Technik nicht vorhersehen kann.

Warum Entwickler mehr brauchen als die Überdeckung von Zeilen

Die Behauptung “100 Prozent Überdeckung” sagt nichts aus, solange du nicht fragst, welche Überdeckung. Entwickler/innen konzentrieren sich beim Testen von Units oft auf die Codeüberdeckung und machen bei der Zeilenüberdeckung halt. Diese Zahl ist leicht zu überlisten. Setze fünf Anweisungen in eine Zeile, führe eine davon aus, und schon hast du 100 Prozent Überdeckung für diese Zeile.

Steigere die Anweisungsüberdeckung, damit jede Anweisung überprüft wird. Noch besser ist die Entscheidungsüberdeckung, denn die Entscheidungen sind die wichtigsten Anweisungen im Code. Eine move-Anweisung, die einer Variablen einen Wert zuweist, ist ein geringes Risiko. Die if-Anweisungen und while-Schleifen sind die Stellen, an denen du wissen willst, ob der gute Fall und der fehlerhafte Fall beide funktionieren.

Einfache Techniken bringen dich dorthin. Mit der Äquivalenzklassenbildung erhältst du eine Klasse für das richtige Ergebnis und eine für das falsche Ergebnis und für jeden einen Testfall. Das Problem ist immer wieder, dass viele Entwickler nur den guten Weg testen und den Fehlerfall vergessen.

Das ist eher eine Frage des Bewusstseins als der Anleitung. Wenn du einem Entwickler sagst, er solle testen, was passiert, wenn die Eingabe falsch ist, ist die Antwort meist Zustimmung, gefolgt von der Erkenntnis, dass dadurch die Testfälle verdoppelt werden. Das tut es. Das ist der Punkt.

Die Testverfahren sind alt, aber das Testen von Pfaden wird noch zu wenig genutzt

Die Techniken für Testentwürfe haben sich seit Jahrzehnten nicht verändert; wie weit sie eingesetzt werden, ist eine offene Frage. Die grundlegenden Techniken finden sich in Büchern, die mehr als 20 Jahre alt sind. Glenford Myers beschrieb die Grenzwertanalyse und die Äquivalenzklassenbildung in The Art of Software Testing vor etwa 45 Jahren. Die Arbeit von Boris Beizer und die früheren TMAP-Bücher bilden den Rest der Tradition, auf die sich das ISTQB immer noch bezieht.

Eine Lücke fällt auf. Das ISTQB lehrt Zustandsübergangstests als prozessorientiertes Verfahren, das sich auf Zustände konzentriert. Nur wenige Systeme haben aussagekräftige Zustände, und beim Abnahmetest geht es in der Regel um Flows, also die Geschäftsabläufe in einem System. Das Testen von Pfaden deckt genau diese Abläufe ab, wird aber noch nicht so weit verbreitet, wie es sein könnte. Die von Rik angeleiteten Wirtschaftsanalytiker/innen haben sich für diese Methode entschieden, weil sie genau zu ihrer Sichtweise des Systems passte.

Wenn die stärkste Überdeckung den Aufwand wert ist

Der elementare Vergleichstest bietet die höchste verfügbare Überdeckung, allerdings auf Kosten der Komplexität. Er gehört neben Pfad- und Entscheidungstests zu Riks drei besten Testverfahren, aber er ist keine leichte Wahl.

Entscheidungstabellen sind sehr gut geeignet, um alle Möglichkeiten zu testen, allerdings mit einer Einschränkung: Sie wachsen ab etwa fünf Testbedingungen aus dem Ruder. In der Praxis hängen aber nur wenige Ergebnisse von fünf Bedingungen gleichzeitig ab, so dass die Technik in der Regel gut funktioniert.

Der elementare Vergleichstest testet mehrere Entscheidungspunkte und wendet für jeden Entscheidungspunkt eine modifizierte Bedingungs-/Entscheidungsüberdeckung an, um die Testsituationen zu erstellen. Diese Situationen werden dann über alle Entscheidungspunkte hinweg zu vollständigen Testfällen von Anfang bis Ende kombiniert. Während beim Pfad-Test mehrere Bedingungskombinationen auf demselben Pfad zu einem einzigen Testfall zusammengefasst werden, werden beim elementaren Vergleichstest alle Kombinationen getestet. Er liefert mehr Testfälle und das größte Vertrauen, dass das System funktioniert, wenn sie bestanden werden. Um ihn gut zu lernen, brauchst du etwa einen eintägigen Workshop und Vorlagen, die die Struktur tragen.