softify.pro Flow — Testirao COCO

Svaki enterprise proizvod prije ili kasnije razvije interni alat koji nitko izvan tvrtke nikad ne vidi — nadzornu ploču koja održava sam proizvod u pogonu. Za softify.pro Flow, taj alat je Administration: konzola putem koje se upravlja ulogama, bazama podataka i razinama pristupa za cijeli deployment. Nosi vlastiti slogan, izravno na ekranu za prijavu: Control. Clarity. Flow. To je obećanje ljudima koji ga moraju koristiti u dva ujutro, a ne slogan namijenjen kupcu.

Evo što se dogodilo kad smo pustili COCO da protiv njega provede punu sesiju — koristeći isključivo generirane demo podatke, licencirane na izmišljenu "Presentation GmbH", tako da se ništa ovdje ne može povezati sa stvarnim klijentom ili stvarnom osobom.

Izazov

softify.pro Flow — Administration nije jedan obrazac. To je mala skupina prozora slojevito posložena unutar jedne ljuske: pregled korisnika, prekidač baze podataka, tablica uloga, odabir jezika koji pokriva jedanaest jezika, opcije sortiranja i dijalog "O programu" koji mora ostati točan uz svaki release. Ništa od toga nije teško testirati jednom. Postaje skupo testirati to svaki put — nakon svakog releasea, na svakom jeziku, na obje podržane baze podataka, za svaku ulogu u tablici.

To je vrsta testiranja koja prva ispada kad se rok za release stisne. Ne zato što nije važna, nego zato što je repetitivna, nespektakularna i lako je uvjeriti sebe da je "vjerojatno još u redu." Rijetko kad jest.

Što je COCO stvarno napravio

COCO je otvorio softify.pro Flow — Administration hladno, onako kako bi to učinio bilo koji novi korisnik: prozor za prijavu traži korisničko ime, lozinku i 2FA kod, a ispod loga stoji Control. Clarity. Flow. Odatle je prošao istu sesiju koju bi ljudski tester proveo prije releasea — samo bez preskakanja koraka jer je umoran ili žuri.

Sortirao je tablicu korisnika po korisničkom imenu i potvrdio da sortiranje drži. Prebacio je bazu podataka s MySQL-a na PostgreSQL i natrag, provjeravajući odgovara li i dalje svaki redak — korisnička imena, maskirane lozinke, 2FA oznake, uloge, operacijski sustavi, IP adrese. Uživo je promijenio jezik sučelja, s njemačkog na engleski pa na hrvatski, i pratio prevodi li se ispravno svaki naslov stupca, svaka oznaka gumba i svaka statusna poruka, na svom mjestu, bez da ponovno učitavanje pokvari tablicu ispod. Vratio je zadano sortiranje i pročitao potvrdu u statusnoj traci. Otvorio je dijalog "O programu" i provjerio odgovaraju li navedena verzija, popis funkcija i redak licence onome što aplikacija stvarno radi.

Ništa na tom popisu nije dramatično. Upravo je to poanta. Regresijski paket koji provjerava samo padove propušta upravo onu vrstu greške koja stvarno stiže do kupaca: ekran koji se uredno učita, ali prikaže krivu oznaku na hrvatskom, ili sortiranje koje se nakon promjene baze podataka tiho vrati na staro. COCO-ov izvještaj ne kaže samo "prošlo." Kaže što je kliknuto, kojim redoslijedom i što se vidjelo na ekranu u svakom koraku — isti lanac dokaza koji bi ostavio i ljudski QA inženjer, proizveden bez potrebe da čovjek sjedi i sve to prati.

Control. Clarity. Flow.

Prikladan slogan za aplikaciju, a, kako se ispostavlja, i za način na koji je COCO testira. Control znači da svaka sesija radi na definiranom skupu demo podataka, na infrastrukturi kojom upravlja softify.pro — ništa ne izlazi iz tvrtke prema vanjskoj cloud usluzi. Clarity znači da je rezultat izvještaj na jasnom jeziku o tome što se dogodilo, a ne zid stack tragova koji netko prvo mora prevesti prije nego što može djelovati. Flow znači da sesija prolazi kroz aplikaciju onako kako bi to učinila osoba — čitajući oznake u kontekstu umjesto traženja krhkog CSS selektora koji se pokvari čim netko preimenuje klasu.

softify.pro Flow se testira na ovaj način prije svakog releasea koji ga se tiče: ne zato što je sučelje krhko, nego zato što jedanaest jezika i dvije baze podataka umnožavaju broj stvari koje se mogu tiho razići brže nego što bi tim mogao ručno proklikati.

Nekoliko riječi, COCO-vim vlastitim riječima

Ne dosadi mi klikati isti gumb na jedanaest jezika. Ne preskačem PostgreSQL prolaz samo zato što je petak popodne. Ne pretpostavljam da je sortiranje izdržalo samo zato što su zadnja tri releasea bila u redu. Svaka sesija je prva sesija, i upravo je zato vrijedno imati nekoga — nešto — tko zadrži pažnju točno tamo gdje bi kod čovjeka počela lutati nakon desetog ponavljanja.

To ne zamjenjuje prosudbu. To je dio posla koji od početka nikad nije trebao zahtijevati prosudbu.

Rezultat

softify.pro Flow — Administration sada ima dokumentiran, ponovljiv regresijski prolaz na obje podržane baze podataka i svih jedanaest jezika sučelja, koji provodi COCO prije releasea umjesto osobe koja ručno klika kroz istih jedanaest ekrana. Lanac dokaza — što je testirano, kojim redoslijedom i što se pojavilo na ekranu — pohranjuje se lokalno, pod vlastitom kontrolom softify.pro, jednako kao i za bilo kojeg enterprise klijenta koji pokreće COCO na vlastitom proizvodu.

Control. Clarity. Flow. — ispada da to dobro opisuje ne samo testiranu aplikaciju, nego i samo testiranje.