Informelle Tests und Dry Runs

Informelle Tests, die während der Entwicklung durchgeführt werden, sowie sogenannte Dry Runs können den Ressourcenaufwand für die formellen Tests nämlich massiv verringern.

Schon während des Entwickelns können mithilfe von informellen, explorativen Tests viele Fehler gefunden und behoben werden, was den Aufwand während der späteren Dry Runs reduziert. Dabei gilt stets die Regel: Es werden nur Bugs und das grobe Test- Ziel (z. B. anhand von Szenarien) dokumentiert; keine detaillierten Testschritte und Resultate. Der informelle Testprozess kann pragmatisch mittels Tabellen in Excel oder ähnlichen Tools gesteuert und nachverfolgt werden.

Ist der Entwicklungsaufwand eines Releases im Endstadium, sollte durch exploratives Testen bereits eine Vielzahl an Fehlern gefunden und behoben worden sein.

Nun kann mit den Dry Runs begonnen werden, um Sicherheit für die darauffolgenden formellen Tests zu schaffen. Denn das ultimative Ziel ist eine möglichst reibungslose Abnahme des Systems ohne gravierende Fehler, die im schlimmsten Fall die Freigabe verhindern. Dry Runs sollten mit dem finalen Entwurf der Testschritte der formellen Tests auf dem finalen Systemrelease ausgeführt werden. Für die Durchführung eines solchen Probelaufs wird Zeit und ein stabiles System benötigt, was entsprechend eingeplant werden sollte.

Im Idealfall werden die Testskripte von den Endanwendern für den Nutzerakzeptanztest (User Acceptance Test - UAT) erstellt und ausgeführt und ermöglichen ihnen damit, als praktischen Nebeneffekt, eine Übung für die Ausführung der formellen Tests. Ein Peer- Review und eine unabhängige Testausführung (durch einen anderen Endanwender als den Testautor) sollte zur Sicherstellung der Qualität durchgeführt werden.

So können sowohl Bugs als auch Testskriptfehler vor Beginn der formellen Tests entdeckt werden, wodurch unnötige mehrfache Testausführungen in der offiziellen Validierung vermieden werden. Denn das Ausführen eines Testfalls als Dry Run benötigt durch geringere Dokumentationspflichten sehr viel weniger Zeit. Außerdem ist das Beheben von Bugs nach Beginn der Validierung deutlich aufwändiger.

Erfolgsfaktoren – Worauf es ankommt

• Testumgebungen für Dry Runs und formelle Ausführungen müssen den gleichen Release-Stand haben
• Tester benötigen die gleichen Systemberechtigungen für Dry Run und formelle Ausführung
• Testdaten müssen durch einen kontrollierten Prozess erstellt werden
• Tests sollten nicht durch den Testersteller durchgeführt werden, sondern gemäß Vier-Augen-Prinzip durch eine andere sachverständige Person
• Dry Runs sollten mit gleicher Ernsthaftigkeit wie die finale Abnahme ausgeführt werden, die Dokumentation kann weniger formell stattfinden
• Testen sollte risikobasiert passieren, indem Features mit einer hohen Risikopriorität intensiver getestet werden sollten als solche mit mittlerer oder niedriger Priorität

Nach erfolgreichem informellem Testen und dem Dry Run folgt der finale Abnahmetest in der Validierungsumgebung. Hierfür wird das im Dry Run auf Richtigkeit geprüfte Testskript vom Tester formell ausgeführt und von einem Reviewer formell geprüft. Dabei sollte eine gute Dokumentationspraxis berücksichtigt werden.

Sofern die oben skizzierten Punkte beim informellen Testen und dem Dry Run berücksichtigt wurden, kann der Abnahmetest recht zügig und ohne große Abweichungen erfolgen, was den Release der Applikation oder der Änderung effizienter und schneller erfolgen lässt.

Zusätzlich zu manuellen Tests werden idealerweise schon frühzeitig auch automatisierte Tests implementiert und ausgeführt. Durch Technologien wie CI/ CD, können Tests während der Entwicklung wiederholt automatisiert ausgeführt werden. Damit lässt sich der Aufwand für Dry Runs und die formelle Ausführung erheblich minimieren, da durch das Reporting von Frameworks für die Testautomatisierung auch der Anspruch an den dokumentierten Beweis erfüllt werden kann. Testautomatisierung eignet sich im besonderen Maße für technische Tests, siehe auch unseren Beitrag zu Testmanagement, Testautomatisierung und Test Tools.

Die fünf größten Fehler beim Testen

1. Fehlende Berechtigungen in der Validierungsumgebung verhindern die erfolgreiche Ausführung der formellen Tests.
2. Testskripte mit Bezug auf spezifische Testdaten, die nur auf der Testumgebung existieren, machen die Testausführung auf der Validierungs- und Produktionsumgebung unmöglich.
3. Formelle Tests müssen vielfach wiederholt werden, weil Bugs durch fehlende Dry Runs oder ungenügendes exploratives Testen nicht vorher gefunden wurden und erst nach und nach während der offiziellen Validierung auffallen.
4. Die Entwicklungsumgebung und Test-/Validierungsumgebung (kontrollierte Umgebung für die offiziellen Tests) sind nicht gleich verfügbar und konfiguriert.
5. Informelle Tests und Dry Runs wurden jeweils vom Testersteller durchgeführt. Erst beim offiziellen Lauf muss eine andere Person das Testskript verstehen.

Weitere Informationen rund um das Thema Testmanagement finden Sie auch in unserem Leistungsangebot Testmanagement im Life Science-Sektor.

Weiterführende Links

• Digital Validation bei Syncwork
• Testmanagement, Testautomatisierung und Test Tools