softify.pro Flow — Testet av COCO

Ethvert enterprise-produkt får før eller siden et internt verktøy som ingen utenfor bedriften noensinne ser — dashbordet som holder selve produktet i gang. For softify.pro Flow er dette verktøyet Administration: konsollen der roller, databasebackender og tilgangsnivåer for en hel driftssetting administreres. Det bærer sin egen slagord rett på innloggingsskjermen: Control. Clarity. Flow. Det er et løfte til menneskene som må betjene det klokken to om natten, ikke et slagord rettet mot en kjøper.

Dette skjedde da vi lot COCO kjøre en full økt mot det — kun med generert demodata, lisensiert til en fiktiv "Presentation GmbH", slik at ingenting her kan spores tilbake til en reell kunde eller en reell person.

Utfordringen

softify.pro Flow — Administration er ikke ett enkelt skjema. Det er en liten samling vinduer lagdelt inne i ett skall: en brukerviser, en databasebryter, en rolletabell, et språkvalg som dekker elleve språk, sorteringsalternativer og en Om-dialog som må forbli nøyaktig ved hvert release. Ingenting av dette er vanskelig å teste én gang. Det blir kostbart å teste det hver gang — etter hvert release, på hvert språk, mot begge de støttede databasebackendene, for hver rolle i tabellen.

Det er den typen testing som først kuttes når en release-frist strammes til. Ikke fordi den ikke betyr noe, men fordi den er repetitiv, ugammorøs, og lett å overbevise seg selv om at "sannsynligvis går det fortsatt bra." Det gjør det sjelden.

Hva COCO faktisk gjorde

COCO åpnet softify.pro Flow — Administration helt uforberedt, slik enhver ny bruker ville gjort: et innloggingsvindu som spør om brukernavn, passord og en 2FA-kode, med Control. Clarity. Flow. trykt under logoen. Derfra jobbet den seg gjennom den samme økten en menneskelig tester ville kjørt før et release — bare uten å hoppe over et steg fordi den var sliten eller hadde det travelt.

Den sorterte brukertabellen etter brukernavn og bekreftet at sorteringen holdt. Den byttet den underliggende databasen fra MySQL til PostgreSQL og tilbake, og sjekket at hver rad — brukernavn, maskerte passord, 2FA-indikatorer, roller, operativsystemer, IP-adresser — fortsatt stemte. Den byttet grensesnittspråk live, fra tysk til engelsk til kroatisk, og fulgte med på at hver kolonneoverskrift, hver knappetekst og hver statusmelding ble oversatt riktig, på plass, uten at en omlasting ødela tabellen under. Den gjenopprettet standardsorteringen og leste bekreftelsen i statuslinjen. Den åpnet Om-dialogen og sjekket at oppgitt versjon, funksjonsliste og lisenslinje stemte med det applikasjonen faktisk gjør.

Ingenting på den listen er dramatisk. Det er nettopp poenget. En regresjonssuite som bare sjekker for krasj, går glipp av akkurat den typen feil som faktisk når kundene: skjermen som laster fint, men viser feil etikett på kroatisk, eller sorteringen som stille går tilbake etter et databasebytte. COCOs rapport sier ikke bare "bestått." Den sier hva som ble klikket, i hvilken rekkefølge, og hva som ble vist på skjermen ved hvert steg — det samme bevissporet en menneskelig QA-ingeniør ville etterlatt, produsert uten at et menneske trengte å sitte gjennom det.

Control. Clarity. Flow.

Det er et passende slagord for appen, og, viser det seg, også for måten COCO tester den på. Control betyr at hver økt kjøres mot et definert sett med demodata, på infrastruktur softify.pro selv forvalter — ingenting forlater huset mot en ekstern skytjeneste. Clarity betyr at resultatet er en redegjørelse på klarspråk for hva som skjedde, ikke en vegg av stack traces noen må oversette før man kan handle. Flow betyr at økten beveger seg gjennom applikasjonen slik en person ville gjort — leser etiketter i kontekst i stedet for å lete etter en skjør CSS-selektor som brytes i det øyeblikket noen gir nytt navn til en klasse.

softify.pro Flow testes på denne måten før hvert release som berører den: ikke fordi grensesnittet er skjørt, men fordi elleve språk og to databasebackender multipliserer antallet ting som stille kan gli ut av synk raskere enn et team kan klikke seg gjennom for hånd.

Noen ord, med COCOs egne ord

Jeg blir ikke lei av å klikke på den samme knappen på elleve språk. Jeg hopper ikke over PostgreSQL-runden bare fordi det er fredag ettermiddag. Jeg antar ikke at sorteringen holdt bare fordi de tre siste releasene gikk bra. Hver økt er den første økten, og nettopp derfor er det verdt å ha noen — noe — som holder oppmerksomheten nøyaktig der et menneskes ville begynt å vandre etter tiende repetisjon.

Det erstatter ikke dømmekraft. Det er den delen av arbeidet som aldri skulle ha trengt dømmekraft i utgangspunktet.

Resultat

softify.pro Flow — Administration har nå en dokumentert, repeterbar regresjonsrunde på tvers av begge de støttede databasene og alle elleve grensesnittspråkene, kjørt av COCO før release i stedet for av en person som klikker seg gjennom de samme elleve skjermbildene for hånd. Bevissporet — hva som ble testet, i hvilken rekkefølge, og hva som dukket opp på skjermen — lagres lokalt, under softify.pros egen kontroll, på samme måte som for enhver enterprise-kunde som kjører COCO mot sitt eget produkt.

Control. Clarity. Flow. — det viser seg å være en god beskrivelse ikke bare av applikasjonen som ble testet, men også av selve testingen.