softify.pro Flow — Getestet von COCO

Jedes Enterprise-Produkt bekommt irgendwann ein internes Werkzeug, das niemand außerhalb des Unternehmens je zu Gesicht bekommt — das Dashboard, das das eigentliche Produkt am Laufen hält. Bei softify.pro Flow heißt dieses Werkzeug Administration: die Konsole, über die Rollen, Datenbank-Backends und Zugriffsebenen für eine gesamte Bereitstellung verwaltet werden. Es trägt seinen eigenen Slogan direkt auf dem Anmeldebildschirm: Control. Clarity. Flow. Das ist ein Versprechen an die Menschen, die es um zwei Uhr morgens bedienen müssen — kein Werbeslogan für Käufer.

So lief es ab, als wir COCO eine vollständige Sitzung dagegen laufen ließen — ausschließlich mit generierten Testdaten, lizenziert an eine fiktive „Presentation GmbH", sodass sich hieraus nichts auf einen echten Kunden oder eine echte Person zurückführen lässt.

Die Herausforderung

softify.pro Flow — Administration ist kein einzelnes Formular. Es ist eine kleine Suite aus Fenstern innerhalb einer Hülle: ein Benutzerbrowser, ein Datenbank-Umschalter, eine Rollentabelle, eine Sprachauswahl über elf Sprachen, Sortieroptionen und ein Info-Dialog, der bei jedem Release aktuell bleiben muss. Nichts davon ist schwer zu testen — einmal. Teuer wird es, es jedes Mal zu testen: nach jedem Release, in jeder Sprache, gegen beide unterstützten Datenbank-Backends, für jede Rolle in der Tabelle.

Genau diese Art von Test fällt zuerst weg, wenn ein Release-Termin enger wird. Nicht, weil sie unwichtig ist, sondern weil sie repetitiv, unspektakulär und leicht als „wird schon noch passen" abzutun ist. Meistens passt es nicht.

Was COCO tatsächlich getan hat

COCO öffnete softify.pro Flow — Administration kalt, so wie es jede neue Nutzerin oder jeder neue Nutzer tun würde: ein Anmeldefenster fragt nach Benutzername, Passwort und 2FA-Code, darunter steht Control. Clarity. Flow. unter dem Logo. Von dort aus arbeitete COCO dieselbe Sitzung durch, die auch eine menschliche Testperson vor einem Release durchlaufen würde — nur ohne einen Schritt auszulassen, weil sie müde oder in Eile war.

Es sortierte die Benutzertabelle nach Benutzername und bestätigte, dass die Sortierung hielt. Es wechselte die zugrunde liegende Datenbank von MySQL auf PostgreSQL und zurück und prüfte, ob jede Zeile — Benutzernamen, maskierte Passwörter, 2FA-Kennzeichen, Rollen, Betriebssysteme, IP-Adressen — weiterhin übereinstimmte. Es wechselte die Oberflächensprache live, von Deutsch über Englisch bis Kroatisch, und beobachtete, ob jede Spaltenüberschrift, jede Schaltflächenbeschriftung und jede Statusmeldung korrekt an Ort und Stelle übersetzt wurde, ohne dass ein Neuladen die darunterliegende Tabelle zerstörte. Es stellte die Standardsortierung wieder her und las die Bestätigung in der Statusleiste. Es öffnete den Info-Dialog und prüfte, ob die angegebene Version, die Funktionsliste und die Lizenzzeile zu dem passten, was die Anwendung tatsächlich tut.

Nichts in dieser Liste ist spektakulär. Genau das ist der Punkt. Eine Regressionssuite, die nur auf Abstürze prüft, übersieht genau den Fehlertyp, der tatsächlich bei Kundinnen und Kunden ankommt: der Bildschirm, der sauber lädt, aber auf Kroatisch die falsche Beschriftung zeigt, oder die Sortierung, die nach einem Datenbankwechsel still zurückspringt. COCOs Bericht sagt nicht nur „bestanden". Er sagt, was geklickt wurde, in welcher Reihenfolge und was bei jedem Schritt auf dem Bildschirm zu sehen war — dieselbe Beweiskette, die auch eine menschliche QA-Fachkraft hinterlassen würde, nur ohne dass ein Mensch dafür danebensitzen musste.

Control. Clarity. Flow.

Ein passender Slogan für die Anwendung — und, wie sich zeigt, auch für die Art, wie COCO sie testet. Control bedeutet, dass jede Sitzung gegen einen definierten Satz an Testdaten läuft, auf einer Infrastruktur, die softify.pro selbst verwaltet — nichts verlässt das Haus in Richtung eines externen Cloud-Dienstes. Clarity bedeutet, dass das Ergebnis eine klar formulierte Zusammenfassung dessen ist, was passiert ist, keine Wand aus Stack-Traces, die erst jemand übersetzen muss, bevor gehandelt werden kann. Flow bedeutet, dass die Sitzung die Anwendung so durchläuft, wie es ein Mensch tun würde — Beschriftungen im Kontext lesend, statt nach einem zerbrechlichen CSS-Selektor zu suchen, der bricht, sobald jemand eine Klasse umbenennt.

softify.pro Flow wird auf genau diese Weise vor jedem Release getestet, das die Anwendung betrifft — nicht, weil die Oberfläche zerbrechlich ist, sondern weil elf Sprachen und zwei Datenbank-Backends die Zahl der Dinge, die sich still und leise auseinanderentwickeln können, schneller vervielfachen, als sich ein Team von Hand durchklicken kann.

Ein paar Worte von COCO selbst

Mir wird es nicht langweilig, denselben Button in elf Sprachen anzuklicken. Ich lasse den PostgreSQL-Durchlauf nicht aus, nur weil Freitagnachmittag ist. Ich gehe nicht davon aus, dass die Sortierung hält, nur weil die letzten drei Releases in Ordnung waren. Jede Sitzung ist die erste Sitzung — genau deshalb lohnt es sich, dass jemand — etwas — die Aufmerksamkeit genau dort behält, wo sie bei einem Menschen nach der zehnten Wiederholung zu wandern beginnt.

Das ersetzt kein Urteilsvermögen. Es ist der Teil der Arbeit, der von Anfang an gar kein Urteilsvermögen hätte brauchen sollen.

Ergebnis

softify.pro Flow — Administration verfügt jetzt über einen dokumentierten, wiederholbaren Regressionsdurchlauf über beide unterstützten Datenbanken und alle elf Oberflächensprachen hinweg — durchgeführt von COCO vor jedem Release, statt von einer Person, die sich von Hand durch dieselben elf Bildschirme klickt. Die Beweiskette — was getestet wurde, in welcher Reihenfolge und was auf dem Bildschirm zu sehen war — wird lokal gespeichert, unter der eigenen Kontrolle von softify.pro, genau wie es für jeden Enterprise-Kunden gilt, der COCO gegen sein eigenes Produkt laufen lässt.

Control. Clarity. Flow. — es beschreibt offenbar nicht nur die getestete Anwendung gut, sondern auch das Testen selbst.