Was ist der Systemtest?
Der Systemtest ist die Teststufe, auf der ein vollständiges, integriertes System gegen seine spezifizierten Anforderungen geprüft wird. Das ISTQB-Glossar definiert ihn als Teststufe mit dem Schwerpunkt zu verifizieren, dass ein System als Ganzes die spezifizierten Anforderungen erfüllt. Testobjekt ist damit das ganze Produkt statt einer Komponente oder einer Schnittstelle: sein funktionales Verhalten in Ende-zu-Ende-Abläufen und seine nicht-funktionalen Qualitätsmerkmale wie Performance, Sicherheit und Gebrauchstauglichkeit.
Weil die Spezifikation die Testbasis ist, steht meist das beobachtbare Verhalten an den Systemgrenzen im Mittelpunkt. Black-Box-Verfahren passen zu diesem Ziel und sind auf dieser Stufe verbreitet, vorgeschrieben sind sie nicht. Wo Strukturwissen oder White-Box-Verfahren dem Testziel dienen, setzen Tester sie ebenso ein.
Der Wechsel vom einzelnen Baustein zum Gesamtsystem ändert, was ein Test finden kann. Komponenten- und Integrationstests betrachten kleinere Testobjekte und deren Zusammenspiel. Der Systemtest bewertet das Gesamtverhalten so, wie Anwender und angebundene Systeme es erleben, und auf dieser Ebene wird eine andere Klasse von Fehlern sichtbar.
Wo verläuft die Grenze zu Integrations-, Systemintegrations- und Abnahmetest?
Der ISTQB Foundation Level (Version 4.0) beschreibt fünf Teststufen: Komponententest, Komponentenintegrationstest, Systemtest, Systemintegrationstest und Abnahmetest. Der Systemtest steht nach der Integration der Komponenten und vor der Abnahme. Die Stufen unterscheiden sich durch Testobjekt, Testziele, Testbasis, typische Fehler und Verantwortlichkeiten; eine feste zeitliche Reihenfolge sind sie nicht, in iterativen Projekten überlappen sie sich.
Nach unten verläuft die Grenze zum Integrationstest. Der Komponentenintegrationstest prüft, wie Komponenten und Teilsysteme über ihre Schnittstellen zusammenarbeiten; er bewertet kein vollständiges System gegen fachliche Anforderungen. Nach oben verläuft sie zum Abnahmetest, der aus Sicht der Auftraggeber oder Endbenutzer beurteilt, ob das System für den beabsichtigten Einsatz taugt. Der Systemtest beantwortet, ob das Team das System richtig gebaut hat, der Abnahmetest, ob es das richtige System gebaut hat.
Die Verbindung zu anderen Systemen und externen Diensten gehört in den Systemintegrationstest. Wer die Systemintegration testen will, braucht eine Umgebung, die der Betriebsumgebung nahekommt, und meist andere Beteiligte, weil mehrere Systeme und Teams im Spiel sind. Daraus folgt auch die Frage nach der Verantwortung für den Systemtest selbst. Laut Lehrplan kann ein unabhängiges Testteam ihn durchführen, weil Tester, die den Code nicht geschrieben haben, andere Annahmen mitbringen und andere Fehler finden als die Autoren. Ob das die richtige Besetzung ist, richtet sich nach Risiko, Entwicklungsmodell und Projektkontext.
Funktionale und nicht-funktionale Ziele
Der Systemtest verfolgt drei Ziele zugleich. Er verifiziert, dass das System die spezifizierten funktionalen Anforderungen erfüllt: Geschäftsprozesse, Benutzerszenarien und die Regeln dahinter. Er deckt Fehler auf, die sich erst auf Systemebene zeigen, weil jede Komponente für sich arbeitet und erst ihr Zusammenspiel im Gesamtkontext scheitert. Und er bewertet nicht-funktionale Qualitätsmerkmale, die ein vollständiges System oder eine repräsentative Umgebung brauchen: Performance unter Last, Zuverlässigkeit über lange Laufzeiten, Sicherheit und die Gebrauchstauglichkeit vollständiger Arbeitsabläufe.
Die funktionale Seite teilt sich in Tests der Geschäftslogik und der Abläufe gegen die Anforderungen, Regressionstests, die nach Änderungen das bestehende Verhalten absichern, und Smoke-Tests als schnelle Prüfung der Grundfunktionen nach jedem Deployment. Zur nicht-funktionalen Seite gehören Performance- und Lasttests, Stresstests, Sicherheitstests, Usability-Tests und Zuverlässigkeitstests. Viele dieser Merkmale lassen sich auch auf niedrigeren Teststufen untersuchen, mit anderem Fokus. Antwortzeiten über den ganzen Ablauf, systemweite Zuverlässigkeit oder die Bedienbarkeit eines kompletten Arbeitsablaufs brauchen das ganze System, und in einem engen Zeitplan sind sie meist die ersten Tests, die ein Projekt verschiebt.
Testbasis: Anforderungen, Geschäftsprozesse, Akzeptanzkriterien
Die Testbasis bilden vor allem die funktionalen und nicht-funktionalen Anforderungen, ergänzt um User Stories, Geschäftsprozesse, Anwenderdokumentation und Akzeptanzkriterien. Fehlt eine strukturierte Anforderungsbasis oder ist sie lückenhaft, helfen Anwender und Fachabteilungen als Quelle weiter. Bei Systemablösungen und Migrationen taugt sogar das Altsystem als Testorakel, gegen das das Team das neue Verhalten abgleicht.
Die Qualität dieser Testbasis schlägt direkt auf die Qualität der Testfälle durch. Vage Formulierungen wie “Das System muss performant sein” oder “Die Applikation sollte leicht zu bedienen sein” lassen sich nicht in konkrete, prüfbare Testfälle übersetzen. Frühe Testfallerstellung zahlt sich deshalb doppelt aus: Sie zwingt dazu, die Anforderungen zu konkretisieren, bevor die erste Zeile Code entsteht, und sie gibt den Entwicklern ein Zielbild, solange sie noch Zeit haben, es zu nutzen.
Die Verfolgbarkeit verbindet die Testbasis mit den Ergebnissen. Jede Anforderung verweist auf mindestens einen Testfall, jeder Testfall auf die Anforderung, die er prüft. Liegen Anforderungen in einem Werkzeug und Testergebnisse in einem anderen, ohne diese Verknüpfung, kann niemand zeigen, welche Anforderungen einen ausgeführten Test haben und welche keinen, und die Anforderungsüberdeckung wird vor jedem Release zur Handarbeit.
Testfälle aus Spezifikation und Erfahrung
Für den Systemtest hat sich eine Kombination aus zwei Ansätzen bewährt. Sie ergänzen einander und gleichen ihre jeweiligen Schwächen aus.
Die spezifikationsbasierte Testfallerstellung stützt sich auf systematische Black-Box-Verfahren. Äquivalenzklassenbildung und Grenzwertanalyse leiten Testfälle effizient aus den Anforderungen ab und sichern die nötige Breite der Abdeckung. Entscheidungstabellen bringen Ordnung in komplexe Geschäftslogik mit vielen Bedingungskombinationen. Zustandsübergangstests modellieren Systeme, die verschiedene Zustände durchlaufen, und prüfen die Übergänge dazwischen.
Die erfahrungsbasierte Testfallerstellung ergänzt diesen strukturierten Kern. Kein Anforderungsdokument bildet ein System vollständig ab; zwischen der ursprünglichen Idee und der aufgeschriebenen Anforderung entsteht immer ein Transferverlust. Erfahrene Tester füllen diese Lücken: Sie kennen typische Fehlermuster, nehmen kritische Randfälle aus der Praxis vorweg und denken die Erwartungen künftiger Anwender mit. Das wichtigste Werkzeug dafür ist das explorative Testen. Es findet die Fehler, an denen strukturierte Testfälle vorbeilaufen.
Ein typischer Systemtestfall ist ein Ende-zu-Ende-Szenario, keine einzelne Funktion: Ein Kunde legt eine Bestellung an, bezahlt, bekommt die Bestätigung, und Rechnung und Lagerbestand ändern sich entsprechend. Der spezifikationsbasierte Teil deckt die gültigen und ungültigen Pfade durch dieses Szenario ab, die Grenzwerte von Mengen und Preisen und die Entscheidungstabelle hinter den Rabattregeln. Der erfahrungsbasierte Teil fragt, was passiert, wenn der Zahlungsdienst mittendrin in einen Timeout läuft, wenn dieselbe Bestellung zweimal ankommt oder wenn die Browser-Sitzung zwischen zwei Schritten abläuft.
Welche Testdaten und Testumgebung braucht ein Systemtest?
Die Testumgebung gehört zu den zentralen Herausforderungen dieser Stufe. Für eine belastbare Aussage muss sie der Produktivumgebung möglichst nahekommen. Am stärksten gilt das für nicht-funktionale Tests: Ein Performancetest auf einer deutlich schwächeren Umgebung liefert Messwerte, die sich nicht auf die Produktion übertragen lassen. Im schlimmsten Fall erzeugen sie eine falsche Sicherheit. Virtualisierung und Cloud-Infrastruktur machen das deutlich billiger. Liegt die Produktivumgebung als parametrisierte virtuelle Maschine oder als Container-Konfiguration vor, kann das Team sie für den Systemtest zu vertretbaren Kosten replizieren. Infrastructure as Code macht die Konfiguration versionierbar, reproduzierbar und nachvollziehbar. Der ISTQB-Lehrplan lässt Simulationen von Teilsystemen zu, wo die echten nicht verfügbar sind; je näher der Rest der Umgebung an der Produktion liegt, desto weniger verzerren diese Simulationen das Ergebnis.
Die Testdaten werden ab dieser Stufe deutlich anspruchsvoller. Unit- und Integrationstests kommen meist mit überschaubaren, lokal definierten Datensets aus. Systemtests brauchen häufig komplexere Konstellationen: Verträge mit Historie, über mehrere Domänenobjekte verknüpfte Datensätze, Daten, die ein paar Jahre echten Betrieb hinter sich haben. Zwei Quellen haben sich etabliert. Echte Daten stammen als Abzug aus produktiven Systemen und werden anonymisiert, sobald personenbezogene Daten im Spiel sind. Sie sind praxisnah und decken mitunter Konstellationen ab, die niemand in Anforderungen oder Testfällen vorgesehen hat. Synthetisch erzeugte Daten entstehen gezielt für Grenzfälle und Sondersituationen: Geburtstage am 29. Februar, Postleitzahlen mit führender Null, maximale Feldlängen. Das sind die Kombinationen, die in Produktivdaten selten vollständig vorkommen, weshalb die meisten Systemtest-Suiten beide Quellen brauchen.
Werkzeuge: GUI, API und Testmanagement
Das Werkzeug richtet sich nach der geprüften Schnittstelle. Für GUI-Anwendungen steuern Playwright, Selenium oder Cypress die Anwendung so, wie ein Benutzer es täte; auf API-Ebene schicken REST-assured, Postman oder Karate die Anfragen und prüfen die Antworten. Testmanagement-Werkzeuge unterstützen Planung, Testfallverwaltung und Fehlerdokumentation: eigenständige wie TestRail oder Jira in Kombination mit Erweiterungen wie Xray.
Ein strukturiertes Fehlermanagement ist auf Systemebene besonders wichtig. Fehler haben hier oft systemübergreifende Ursachen, an einem gescheiterten Szenario können mehrere Teams beteiligt sein, und die Kommunikation zwischen Tester, Entwickler und Fachbereich braucht einen Verantwortlichen, meist den Testmanager oder die Person, die den Test auf dieser Stufe leitet. Im Werkzeug steht, wer welche Fehlerwirkung analysiert hat und welche Korrektur dazu gehört.
Was davon lässt sich automatisieren, was bleibt Handarbeit?
Automatisiert wird, was wiederholt läuft, manuell bleibt, was Urteilsvermögen braucht. Regressionstests, die in jedem Release-Zyklus erneut laufen, sind die ersten Kandidaten, und auf Systemebene gibt es sie in zwei Formen. API-Tests prüfen die Geschäftslogik unterhalb der Oberfläche; sie sind günstiger zu bauen, schneller in der Ausführung und weniger anfällig. GUI-Tests decken die Wege ab, die ein Benutzer tatsächlich geht. Lange galten sie als fragil und wartungsintensiv. Playwright und vergleichbare Frameworks warten automatisch auf Elemente und wiederholen Prüfungen, bis sie erfüllt sind oder die Zeit abläuft; damit fällt der größte Teil der Timing-Probleme weg, die GUI-Tests unzuverlässig gemacht haben. Der Pflegeaufwand bei einer sich ändernden Oberfläche bleibt, deshalb trägt eine kleine Zahl gut gewählter GUI-Szenarien weiter als eine große.
Die Testpyramide gilt auch innerhalb dieser Stufe: viele automatisierte API-Prüfungen, weniger automatisierte GUI-Szenarien und ein manueller Anteil, der absichtlich manuell bleibt. Exploratives Testen, Usability-Bewertungen und jedes Szenario, das eine subjektive Benutzererfahrung beurteilt, bleiben bei Menschen, weil der Wert in dem liegt, was dem Tester unterwegs auffällt, und ein Skript nur prüft, was man ihm aufgetragen hat.
Agile Projekte: Die Ziele bleiben, der Rhythmus ändert sich
Das Modell der Teststufen ist älter als die agilen Vorgehensmodelle, und Scrum-Teams ignorieren es deshalb oft. Die Ziele des Systemtests gelten im agilen Umfeld trotzdem: Das Team bewertet das Gesamtverhalten gegen die relevanten Anforderungen, bereitet Testdaten vor und hält eine geeignete Testumgebung bereit. Welche Techniken, Rollen und Grade von Unabhängigkeit dafür sinnvoll sind, entscheidet das Team in seinem Kontext.
Der Rhythmus ändert sich: Systemtests laufen innerhalb eines Sprints gegen das Inkrement, kontinuierlich in einer geeigneten Umgebung mit jedem Merge oder in eigenen Validierungszyklen vor einem Release. Die Testpyramide liefert dazu die ergänzende Perspektive: Teams setzen komplexe Ende-zu-Ende-Tests selektiv und gezielt ein, als Ergänzung solider Komponenten- und Integrationstests, nie als deren Ersatz.
Welche Fehler zeigen sich erst auf Systemebene?
Bestimmte Fehler werden erst sichtbar, wenn das ganze System läuft:
- Funktionale Abweichungen zwischen Anforderung und Systemverhalten, die auf den niedrigeren Teststufen nicht erkennbar waren.
- Nicht-funktionale Mängel wie Performance-Engpässe unter Last, Speicherlecks bei langer Laufzeit oder Timeouts bei komplexen Transaktionen.
- Datenkonsistenzprobleme, die erst bei realistischen Datenvolumina auftreten.
- Fehlerhafte Grenzwert- und Fehlerbehandlung bei ungültiger Eingabe oder unerwarteten Zuständen.
- Verhalten unter Ausnahmebedingungen, etwa bei fehlender Netzwerkverbindung, Systemüberlastung oder fehlerhaften Daten aus externen Quellen.
In der Praxis legt der Systemtest damit häufig die Lücken der unteren Teststufen offen. Instabiles oder inkonsistentes Verhalten auf Systemebene deutet fast immer auf zu dünne Komponenten- oder Integrationstests hin. Diese Befunde kommen spät und kosten mehr, als derselbe Fehler zwei Stufen früher gekostet hätte, und das ist das stärkste Argument dafür, die anderen Teststufen nicht zu überspringen.
Was diese Stufe nicht zeigen kann
Der wesentliche Nachteil folgt aus der Größe des Testobjekts: Ein ausreichend vollständiges System und eine geeignete Umgebung stehen meist später bereit als einzelne Komponenten. Testfälle, Testdaten und Umgebungen lassen sich trotzdem früh vorbereiten, idealerweise parallel zur Anforderungsanalyse, damit der Entwurf fertig ist, wenn der erste Testlauf beginnt.
Für interne Qualitätsattribute wie Codekomplexität, Wartbarkeit oder die Testabdeckung des Quellcodes ist diese Stufe ebenfalls das falsche Mittel. Diese Aspekte gehören zu den unteren Teststufen und verlangen andere Werkzeuge und andere Metriken.
Aus der Praxis
In vielen Projekten, die ich begleitet habe, ist der Systemtest die erste Teststufe, auf der überhaupt ernsthaft getestet wird. Das macht ihn wertvoll, und es macht ihn zum Sammelbecken für Qualitätsprobleme, die man viel früher hätte finden können. Die Befunde sind richtig und wichtig. Nur steigen die Kosten für ihre Behebung mit jeder Teststufe, die das Projekt vorher übersprungen hat, und im Systemtest kommt diese Rechnung an.
Das Buch, das ich mit Harry Sneed und Manfred Baumgartner zu dieser Teststufe geschrieben habe, “Der Systemtest” (Hanser, 3. Auflage 2011), steht in der Literaturliste des deutschen ISTQB-Lehrplans Foundation Level (v4.0.2, Abschnitt 7.4, deutschsprachige Bücher).