softify.pro Flow — Getest door COCO

Elk enterprise-product krijgt uiteindelijk een intern hulpmiddel dat niemand buiten het bedrijf ooit te zien krijgt — het dashboard dat het eigenlijke product draaiende houdt. Voor softify.pro Flow is dat hulpmiddel Administration: de console waarmee rollen, database-backends en toegangsniveaus voor een hele implementatie worden beheerd. Het draagt zijn eigen slogan, recht op het inlogscherm: Control. Clarity. Flow. Dat is een belofte aan de mensen die het om twee uur 's nachts moeten bedienen, geen slogan gericht op een koper.

Dit gebeurde er toen we COCO een volledige sessie ertegen lieten uitvoeren — uitsluitend met gegenereerde demogegevens, gelicentieerd aan een fictieve "Presentation GmbH", zodat niets hiervan te herleiden is tot een echte klant of een echte persoon.

De uitdaging

softify.pro Flow — Administration is geen enkel formulier. Het is een kleine suite van vensters binnen één schil: een gebruikersoverzicht, een database-schakelaar, een rollentabel, een taalkeuze die elf talen omvat, sorteeropties en een Info-dialoog die bij elke release accuraat moet blijven. Niets daarvan is moeilijk om één keer te testen. Het wordt kostbaar om het elke keer te testen — na elke release, in elke taal, tegen beide ondersteunde database-backends, voor elke rol in de tabel.

Dat is het soort testen dat het eerst sneuvelt wanneer een releasedeadline dichterbij komt. Niet omdat het er niet toe doet, maar omdat het repetitief, onopvallend en makkelijk als "waarschijnlijk nog wel goed" af te doen is. Dat is het bijna nooit.

Wat COCO daadwerkelijk deed

COCO opende softify.pro Flow — Administration koud, zoals elke nieuwe gebruiker zou doen: een inlogvenster dat vraagt om een gebruikersnaam, een wachtwoord en een 2FA-code, met Control. Clarity. Flow. gedrukt onder het logo. Vandaar werkte het dezelfde sessie af die ook een menselijke tester vóór een release zou uitvoeren — alleen zonder een stap over te slaan omdat het moe of gehaast was.

Het sorteerde de gebruikerstabel op gebruikersnaam en bevestigde dat de sortering standhield. Het wisselde de onderliggende database van MySQL naar PostgreSQL en weer terug, en controleerde of elke rij — gebruikersnamen, gemaskeerde wachtwoorden, 2FA-indicatoren, rollen, besturingssystemen, IP-adressen — nog steeds overeenkwam. Het wisselde de interfacetaal live, van Duits naar Engels naar Kroatisch, en zag toe dat elke kolomkop, elk knoplabel en elk statusbericht correct werd vertaald, op zijn plek, zonder dat een herlaadactie de onderliggende tabel brak. Het herstelde de standaardsortering en las de bevestiging in de statusbalk. Het opende de Info-dialoog en controleerde of de vermelde versie, functielijst en licentieregel overeenkwamen met wat de applicatie daadwerkelijk doet.

Niets op deze lijst is dramatisch. Dat is precies het punt. Een regressiesuite die alleen op crashes controleert, mist juist het type fout dat écht bij klanten terechtkomt: het scherm dat prima laadt maar het verkeerde label in het Kroatisch toont, of de sortering die na een database-wissel stilletjes terugvalt. Het rapport van COCO zegt niet alleen "geslaagd." Het vertelt wat er is aangeklikt, in welke volgorde, en wat er bij elke stap op het scherm te zien was — hetzelfde bewijsspoor dat ook een menselijke QA-tester zou achterlaten, geproduceerd zonder dat een mens erbij hoefde te zitten.

Control. Clarity. Flow.

Een toepasselijke slogan voor de app, en, zo blijkt, ook voor de manier waarop COCO haar test. Control betekent dat elke sessie draait tegen een vastgestelde set demogegevens, op infrastructuur die softify.pro zelf beheert — niets verlaat het pand richting een externe clouddienst. Clarity betekent dat de uitkomst een helder verwoord verslag is van wat er is gebeurd, geen muur van stack traces die iemand eerst moet vertalen voordat er actie kan worden ondernomen. Flow betekent dat de sessie de applicatie doorloopt zoals een mens dat zou doen — labels lezend in context, in plaats van te zoeken naar een breekbare CSS-selector die stukgaat zodra iemand een klasse hernoemt.

softify.pro Flow wordt op deze manier getest vóór elke release die de applicatie raakt: niet omdat de interface breekbaar is, maar omdat elf talen en twee database-backends het aantal dingen dat stilletjes uit de pas kan gaan lopen sneller vermenigvuldigen dan een team er met de hand doorheen kan klikken.

Een woord, in COCO's eigen woorden

Ik verveel me niet van het klikken op dezelfde knop in elf talen. Ik sla de PostgreSQL-doorloop niet over omdat het vrijdagmiddag is. Ik neem niet aan dat de sortering standhield alleen omdat de laatste drie releases in orde waren. Elke sessie is de eerste sessie, en precies daarom loont het om iemand — iets — te hebben dat de aandacht precies daar houdt waar die van een mens na de tiende herhaling zou beginnen af te dwalen.

Dat vervangt geen beoordelingsvermogen. Het is het deel van het werk dat nooit beoordelingsvermogen had moeten vereisen.

Resultaat

softify.pro Flow — Administration beschikt nu over een gedocumenteerde, herhaalbare regressiedoorloop over beide ondersteunde databases en alle elf interfacetalen, uitgevoerd door COCO vóór elke release in plaats van door iemand die handmatig door dezelfde elf schermen klikt. Het bewijsspoor — wat er is getest, in welke volgorde, en wat er op het scherm verscheen — wordt lokaal opgeslagen, onder de eigen controle van softify.pro, op dezelfde manier als voor elke enterprise-klant die COCO tegen hun eigen product laat draaien.

Control. Clarity. Flow. — het blijkt niet alleen een goede beschrijving van de geteste applicatie, maar ook van het testen zelf.