softify.pro Flow — testované cez COCO

Control. Clarity. Flow.

Každý vážny softvérový produkt nakoniec vyvinie druhý produkt za produktom.

Zákazníci ho možno nikdy neuvidia. Návštevníci možno nikdy nebudú vedieť, že existuje. Ale administrátori, operátori, a vývojári sa naň spoliehajú každý deň.

Pre softify.pro Flow je touto aplikáciou Administration — prevádzková konzola zodpovedná za správu používateľov, rolí, úrovní prístupu, stavov autentifikácie, prostredí databáz, a inej konfigurácie, ktorá udržuje nasadenie Flow pod kontrolou.

Jej prihlasovacia obrazovka nesie tri slová:
Control. Clarity. Flow.

Boli pôvodne zvolené, aby opísali zážitok, ktorý sme chceli, aby mali administrátori pri prevádzke systému.

Ale prekvapivo dobre opisujú aj to, ako veríme, že by mal byť softvér testovaný.

To urobilo softify.pro Flow — Administration zjavným kandidátom na skutočný test COCO.

Nie laboratórnu demonštráciu.
Nie kolekciu izolovaných tlačidiel pripravených špeciálne pre AI demo.
Skutočnú multiplatformovú desktopovú aplikáciu so skutočnou logikou aplikácie, viacerými oknami, viacerými backendmi databáz, autentifikáciou, oprávneniami, lokalizáciou, a dostatočným stavom, aby zdanlivo malé regresie boli ťažko postrehnuteľné ručne.

Pre verejnú demonštráciu ukázanú tu, COCO pracovalo výlučne s vygenerovanými demonštračnými dátami. Aplikácia bola licencovaná pre fiktívnu firmu Presentation GmbH, a žiadne produkčné informácie zákazníkov, prihlasovacie údaje, ani osobné údaje neboli použité.

Cieľ bol jednoduchý:
Nechať COCO pristupovať k aplikácii tak, ako by to urobil tester, a určiť, či sa kompletný administratívny pracovný postup stále správa tak, ako softvér tvrdí.

Výzva

Na prvý pohľad sa testovanie administratívnej aplikácie zdá jednoduché.

Otvor ju.
Prihlás sa.
Klikni cez niekoľko okien.
Skontroluj, či všetko vyzerá správne.

Tento predpoklad sa rýchlo mení, keď aplikácia rastie.

softify.pro Flow — Administration nie je jeden statický formulár. Je to kolekcia vzájomne prepojených prevádzkových pohľadov vnútri jedného obalu aplikácie.

Okrem iného môže administrátor pracovať s:

• používateľskými účtami
• rolami a úrovňami prístupu
• autentifikačnými informáciami
• stavom dvojfaktorovej autentifikácie
• informáciami o operačnom systéme
• sieťovými a IP informáciami
• konfiguráciou databázy
• možnosťami triedenia a prezentácie
• výberom jazyka naživo
• informáciami o aplikácii a licencovaní

Rozhranie momentálne podporuje jedenásť jazykov. Aplikácia tiež funguje s backendmi databáz MySQL a PostgreSQL. Jednotlivo, žiadna z týchto funkcií nepredstavuje nezvyčajný testovací problém.

Ťažkosť pochádza z ich kombinácií.
Tabuľka používateľov môže fungovať správne v angličtine, ale zobrazovať zastaraný názov stĺpca v chorvátčine.
Triedenie môže fungovať správne pripojené k MySQL, ale správať sa inak po prepnutí na PostgreSQL.

Zmena jazyka môže aktualizovať väčšinu prvkov rozhrania, pričom ponechá jednu statusovú správu nepreloženú. Aplikácia môže úspešne prepnúť databázy, ale zachovať zastarané informácie z predchádzajúceho pripojenia. Nové vydanie môže zaviesť funkciu, zatiaľ čo dialóg About stále popisuje predchádzajúcu. Program sa nemusí zrútiť, aby ktorákoľvek z týchto situácií bola regresiou. V skutočnosti, niektoré z najnepríjemnejších softvérových defektov sú presne tie, kde všetko vyzerá, že funguje.

Aplikácia sa spustí.
Okno sa otvorí.
Tlačidlo reaguje.
Ale niečo pod povrchom už nie je celkom v poriadku.
Preto je opakované regresné testovanie dôležité.

A je to tiež presne ten druh práce, v ktorej sa ľudia stávajú čoraz horšími po opakovaní tej istej sekvencie desiatky krát.

Prečo sa ručné testovanie stáva nákladným

Otestovať niečo raz je jednoduché.
Testovať to spoľahlivo po každom relevantnom vydaní je iné.

Zvážte len tri rozmery: 11 jazykov rozhrania × 2 backendy databáz × viacero pracovných postupov aplikácie.

Počet kombinácií rýchlo rastie.
Pridajte rôzne používateľské role, stavy autentifikácie, správanie triedenia, zmeny konfigurácie, a prevádzkové prostredia, a testovacia matica sa stáva príliš veľkou, aby sa s ňou zaobchádzalo ako s občasným ručným kontrolným zoznamom.

Tu regresné testovanie často začína erodovať.
Nie zámerne.
Termín vydania sa blíži.
Niekto si spomenie, že aplikácia bola testovaná minulý týždeň.
Vývojár rýchlo skontroluje najdôležitejšiu obrazovku.

Nemčina funguje.
Angličtina funguje.
MySQL funguje.
Predpoklad sa stáva:
„Zvyšok je pravdepodobne v poriadku."

Zvyčajne je. Až do vydania, kde nie je.
COCO existuje čiastočne na to, aby tento predpoklad odstránilo z procesu.

Čo COCO skutočne urobilo

COCO spustilo softify.pro Flow — Administration zo studeného stavu aplikácie, bez spoliehania sa na vopred pripravenú obrazovku alebo ručne umiestnený pracovný postup.

Prvá interakcia bola tá istá, ktorá sa prezentuje ľudskému administrátorovi: prihlasovacie okno.

COCO identifikovalo autentifikačné rozhranie obsahujúce:

• používateľské meno
• heslo
• kód dvojfaktorovej autentifikácie

a riadok priamo pod identitou softify.pro Flow:
Control. Clarity. Flow.

Odtiaľ COCO pokračovalo cez definovanú regresnú reláciu. Cieľom nebolo jednoducho určiť, či sa aplikácia dá otvoriť.

Cieľom bolo overiť, či stav aplikácie zostal interne konzistentný, zatiaľ čo COCO s ňou interagovalo.

Autentifikácia je len začiatok

Testovanie prihlásenia je jedným z najzjavnejších kandidátov na automatizáciu, ale samotná úspešná autentifikácia nám hovorí veľmi málo o zvyšku administratívnej aplikácie.

Po vstupe sa COCO presunulo do skutočného prevádzkového prostredia. Preskúmalo rozhranie administrácie používateľov a overilo, že očakávané informácie boli prítomné.

To zahŕňalo dáta ako:

• používateľské mená
• maskované heslá
• ukazovatele 2FA
• priradené role
• informácie o operačnom systéme
• IP adresy

COCO potom interagovalo s tabuľkou, namiesto toho, aby ju len pozorovalo.
Zoznam používateľov bol zoradený podľa používateľského mena.
Výsledné poradie bolo preskúmané.
Dôležitou časťou nebolo, či kliknutie na hlavičku stĺpca vyvolalo nejakú viditeľnú zmenu.

COCO overilo, že výsledný stav tabuľky zodpovedal požadovanej operácii.

Tento rozdiel je dôležitý.
Funkčný test sa pýta:
„Reagovalo tlačidlo?"

Užitočný regresný test sa pýta:
„Skončila aplikácia v správnom stave?"

Testovanie hranice databázy

softify.pro Flow podporuje viac než jeden backend databázy.

To robí prepínanie databáz obzvlášť dôležitou regresnou hranicou.
COCO zmenilo aktívny backend z MySQL na PostgreSQL.

Po prepnutí opäť preskúmalo informácie o používateľoch.
Test hľadal viac než úspešné pripojenie.
Skontroloval, či aplikácia naďalej prezentovala očakávané záznamy a či informácie zobrazené cez rozhranie zostali konzistentné.

COCO sa potom znova prepolo naspäť.


Tento druh prechodu je ľahké podceniť.
Používateľské rozhranie môže zostať vizuálne identické, zatiaľ čo vrstva úložiska pod ním sa úplne mení.
Z perspektívy administrátora by mal tento prechod pôsobiť takmer nudne.
Rovnakí používatelia by mali byť stále zrozumiteľní.
Rovnaké role by mali stále dávať zmysel.

Rovnaké správanie rozhrania by malo stále platiť.

Táto zdanlivo neudalostná kontinuita je presne to, čo je potrebné dokázať.

Jedenásť jazykov, jeden stav aplikácie

Lokalizácia je ďalšia oblasť, kde je povrchné testovanie obzvlášť nebezpečné.

Je relatívne ľahké overiť, že sa aplikácia dokáže spustiť v inom jazyku.
Je oveľa hodnotnejšie overiť, čo sa stane, keď sa jazyk zmení, zatiaľ čo aplikácia už beží a udržuje stav.

COCO prepínalo jazyk rozhrania naživo.

Relácia zahŕňala prechody medzi jazykmi ako:
nemčina → angličtina → chorvátčina
zatiaľ čo pohľad administrácie zostal aktívny.

COCO pozorovalo, či sa prvky rozhrania menili správne na mieste:

• hlavičky tabuliek
• ovládacie prvky
• tlačidlá
• štítky
• statusové správy

Podkladová tabuľka a stav aplikácie tiež museli prežiť tento prechod.
Toto záleží, pretože viacjazyčný softvér pozostáva z viac než preložených reťazcov.
Zmeny jazyka môžu odhaliť:

• zabudnuté zdroje
• zastarané štítky
• problémy s rozložením
• nepreložené statusové správy
• problémy s kódovaním
• resety stavu
• problémy s prekresľovaním ovládacích prvkov

Okno, ktoré vyzerá správne, keď je spustené priamo v chorvátčine, sa môže stále správať nesprávne, keď používateľ prepne z nemčiny na chorvátčinu počas aktívnej relácie.

To je rozdiel medzi kontrolou snímky obrazovky a testovaním pracovného postupu.

Obnovenie stavu aplikácie

COCO následne obnovilo predvolenú konfiguráciu triedenia aplikácie.

Opäť, test sa neskončil samotným kliknutím.

Výsledné poradie a potvrdenie prezentované cez oblasť statusu aplikácie boli vyhodnotené. Tento typ overenia sa môže zdať bezvýznamný v porovnaní s testovaním autentifikácie alebo prístupu k databáze.

Nie je.

Podnikové aplikácie akumulujú stovky takýchto malých prechodov stavu.
Používatelia sa na ne spoliehajú bez toho, aby o nich vedome premýšľali.
Softvér pôsobí spoľahlivo práve preto, že tieto interakcie zostávajú predvídateľné.
Regresné testovanie existuje, aby chránilo túto predvídateľnosť.

Testovanie informácií okolo softvéru

COCO tiež otvorilo dialóg About aplikácie.

Prečo testovať okno About?

Pretože softvérová dokumentácia začína vnútri samotného softvéru.
Číslo verzie, popis funkcií, a licenčné informácie prezentované operátorovi by mali zodpovedať aplikácii, ktorá skutočne beží.

Aplikácia môže fungovať dokonale, pričom stále prezentuje zastarané informácie o verzii alebo popisuje schopnosti, ktoré už nezodpovedajú vydaniu.

Toto nezrúti databázu.
Robí niečo jemnejšie:
znižuje dôveru.

Pre podnikový softvér, prevádzková presnosť zahŕňa tieto zdanlivo malé detaily. COCO ich preto tiež skontrolovalo.

Control.

Prvé slovo v slogane softify.pro Flow je tiež prvým princípom testovacieho prostredia.

Control znamená vedieť, čo sa testuje, oproti akému stavu, a s akými dátami.

Verejná demonštrácia COCO nepoužíva produkčné záznamy klienta.

Beží so zámerne pripravenými demonštračnými dátami, ktorých očakávaný stav je známy.

To robí výsledky reprodukovateľnými.

Tiež to znamená, že rozdiely medzi testovacími behmi možno skúmať namiesto toho, aby boli vysvetlené ako náhodné zmeny v produkčných dátach.

Ešte dôležitejšie, COCO je navrhnuté ako samostatne hostovaný systém AI testovania.

Testovacie dôkazy, snímky obrazovky aplikácie, a interné informácie o pracovnom postupe môžu zostať vnútri infraštruktúry pod vlastnou kontrolou zákazníka alebo operátora, namiesto toho, aby boli predvolene odosielané do nesúvisiacej cloudovej služby tretej strany.

Pre interné obchodné aplikácie to nie je len infraštruktúrna preferencia. Môže to byť súčasťou samotnej testovacej požiadavky.

Clarity.

Automatizácia nie je obzvlášť užitočná, ak je jej konečným výstupom: FAILED
nasledovaný stovkami riadkov technického výstupu, ktoré niekto musí ručne zrekonštruovať predtým, ako pochopí, čo sa stalo.

COCO je navrhnuté tak, aby zachovalo zrozumiteľnú dôkaznú stopu.

Správa popisuje:

• čo bolo testované
• ktorá interakcia sa uskutočnila
• v akom poradí sa to stalo
• čo COCO pozorovalo
• aký stav sa očakával
• kde sa správanie líšilo, keď niečo zlyhalo

Snímky obrazovky a dôkazy vykonania môžu túto sekvenciu sprevádzať.
Účelom nie je skryť technické detaily.

Je ním urobiť výsledok zrozumiteľným predtým, než niekto musí otvoriť debugger.

Inžinier by mal byť schopný odpovedať:
Čo sa stalo? predtým, ako sa opýta:
Kde v kóde sa to stalo?

Tento rozdiel dramaticky skracuje vyšetrovanie, keď sa objaví regresia.

Flow.

Tradičná UI automatizácia často myslí v prvkoch.

Nájdi selektor.
Klikni na selektor.
Nájdi ďalší selektor.
Skontroluj hodnotu.

Tento prístup zostáva užitočný, ale aplikácie sa nezažívajú ako kolekcie selektorov.

Ľudia zažívajú toky.

Prihlás sa.
Otvor administráciu.
Nájdi používateľa.
Zmeň nastavenie.
Prepni databázu.
Zmeň jazyk.
Over výsledok.

Pokračuj v práci.

COCO preto považuje sekvenciu za proces, nie za náhodnú kolekciu ovládacích prvkov.

Sleduje, čo sa používateľ snaží dosiahnuť, a hodnotí aplikáciu v kontexte.

To sa stáva obzvlášť hodnotné pri testovaní skutočného podnikového softvéru, pretože zlyhania sa často vyskytujú medzi obrazovkami alebo medzi stavmi, nie vnútri jednotlivého tlačidla.

Logistický pracovný postup môže obsahovať objednávku, rezerváciu zásoby, operáciu vychystávania, dodací list, a potvrdenie expedície.
Každá jednotlivá obrazovka môže vyzerať správne, zatiaľ čo kompletný proces je nesprávny.
Rovnaký princíp platí tu v menšej mierke.
Okno administrácie nie je produktom.

Pracovný postup cez neho je.

Dôkaz namiesto predpokladu

Jednou z najdôležitejších úloh COCO nie je klikanie. Je ňou zapamätávanie si toho, čo sa stalo.
Ľudské regresné testovanie sa často končí tvrdením ako:
„Otestoval som to a všetko vyzeralo v poriadku."

To môže byť úplne presné.
Ale o niekoľko týždňov neskôr, keď sa objaví problém, sú užitočné otázky iné:

• Ktoré vydanie bolo testované?
• Ktorá databáza?
• Ktorý jazyk?
• Aký bol stav používateľa?
• Čo sa stalo pred problémom?
• Čo presne bolo viditeľné?

V akom poradí boli akcie vykonané?
Testovacie behy COCO sú navrhnuté tak, aby za sebou zanechali dôkazy.

To transformuje výsledok testu z názoru na niečo, čo možno preskúmať. Úspešný beh sa preto tiež stáva užitočným.
Ustanovuje známy referenčný stav, oproti ktorému možno porovnať neskoršie správanie.

COCO nie je rozhodovateľ

Existuje dôležitá hranica v tom, ako používame AI na testovanie softvéru.
COCO nemá za cieľ nahradiť inžiniersku zodpovednosť.

Nerozhoduje o tom, akým by mal byť obchodný pravidlo.

Testuje správanie oproti scenárom, požiadavkám, a očakávaniam definovaným pre aplikáciu. Pre citlivé rozhodnutia zahŕňajúce oprávnenia, ceny, zásobu, finančné transakcie, alebo iné kritické obchodné stavy, definícia správneho správania zostáva ľudskou zodpovednosťou.

Tento rozdiel je dôležitý.
AI je vynikajúce v opakovaní podrobného testu bez straty koncentrácie. Je vynikajúce v zbieraní dôkazov.
Môže skontrolovať obrazovky, porovnať očakávané a pozorované správanie, a vysvetliť nezrovnalosti. Ale biznis stále definuje, čo znamená správne.

COCO robí túto definíciu testovateľnou.

Test, ktorý nikto nechce opakovať

Existuje jednoduchý dôvod, prečo automatizácia tu pridáva hodnotu.
Ľudský tester dokáže tento regresný test absolútne vykonať.
Prvý jazyk dostáva plnú pozornosť.
Pravdepodobne aj druhý.
Potom ďalší.
Potom ďalší.
MySQL už bolo skontrolované.
PostgreSQL ešte treba skontrolovať.
Test triedenia už bol vykonaný niekoľkokrát.
Dialóg About sa nezmenil mesiace.

Je piatkové popoludnie.

A ľudská pozornosť robí to, čo ľudská pozornosť prirodzene robí. Začína optimalizovať.
COCO nie. V duchu samotného COCO:

• Nenudí ma klikanie na to isté tlačidlo v jedenástich jazykoch. Nepreskakujem prechod PostgreSQL, pretože je piatkové popoludnie. Nepredpokladám, že poradie triedenia sa zachovalo, pretože fungovalo v predchádzajúcom vydaní.

Pre COCO možno každú regresnú reláciu považovať za prvú. To nie je inteligencia nahradzujúca ľudského testera.
Je to automatizácia chrániaca ľudského testera pred časťou testovania, kde je ľudská pozornosť najmenej hodnotná.

Od opakovaného testovania k inžinierskemu dôkazu

Väčším účelom COCO nie je maximalizovať počet automatizovaných akcií.
Tisíc automatizovaných klikov je bezvýznamných, ak nikto nerozumie, čo dokazujú. Užitočným výsledkom je dôvera podporená dôkazmi.

Pre softify.pro Flow to znamená byť schopný povedať, že vydanie bolo preverené naprieč prevádzkovými oblasťami, na ktorých záleží:

• autentifikácia
• administrácia používateľov
• role a informácie o prístupe
• stav dvojfaktorovej autentifikácie
• správanie triedenia
• prevádzka MySQL
• prevádzka PostgreSQL
• živá lokalizácia
• statusová spätná väzba
• informácie o aplikácii
• licenčné informácie

a že výsledok je zachovaný vo forme, ktorú možno neskôr preskúmať. Rovnaký princíp sa škáluje ďaleko za túto aplikáciu.
Proces prihlásenia možno testovať takto.
Pracovný postup rezervácie možno testovať takto.
Logistický proces možno testovať takto.
Multiplatformovú desktopovú aplikáciu možno testovať takto.
Obrazovky sa menia.
Obchodné pravidlá sa menia.
Princíp nie:
definuj očakávaný pracovný postup, vykonávaj ho konzistentne, zbieraj dôkazy, a urob výsledok zrozumiteľným.

Prečo testujeme náš vlastný softvér pomocou COCO

Existuje ďalší dôvod, prečo je softify.pro Flow dôležitý ako prípadová štúdia COCO.

Je to náš vlastný softvér.
To odstraňuje pohodlný odstup, ktorý niekedy existuje medzi technologickou demonštráciou a ľuďmi, ktorí ju demonštrujú.

Ak má COCO testovať podnikový softvér, musí byť dostatočne užitočné, aby sme mu mohli dôverovať so softvérom, ktorý skutočne sami vyvíjame a vydávame.

Flow teda funguje aj ako produkt, aj ako skúšobný priestor.
Nové testovacie schopnosti možno preveriť oproti skutočnej aplikácii.
Neočakávané správanie môže odhaliť slabiny v aplikácii, testovacom pláne, alebo samotnom COCO.

Každá strana zlepšuje tú druhú.
Táto slučka spätnej väzby je oveľa hodnotnejšia než budovanie umelých demonštrácií navrhnutých len na to, aby uspeli. Testovací systém by nemal vyzerať presvedčivo, pretože demonštrácia bola jednoduchá.
Mal by sa stať presvedčivým, pretože naďalej nachádza malé veci, ktoré by ľudia nakoniec prestali kontrolovať.

Výsledok

softify.pro Flow — Administration má teraz zdokumentovaný a opakovateľný regresný proces, ktorý COCO môže vykonať pred relevantnými vydaniami.

Test pokrýva obe podporované databázové prostredia a jedenásťjazyčné rozhranie aplikácie, pričom sleduje aplikáciu tak, ako by ju používal administrátor, namiesto toho, aby traktoval každú obrazovku ako izolovaný testovací cieľ.

COCO vytvára dôkaznú stopu ukazujúcu, čo bolo testované, čo bolo pozorované, a v akom poradí sa relácia uskutočnila.

Tento dôkaz môže zostať lokálne kontrolovaný.
Vývojári získavajú reprodukovateľný východiskový bod, keď sa niečo zmení.
Ľudskí testeri trávia menej času opakovaním predvídateľných interakcií a viac času skúmaním situácií, ktoré skutočne vyžadujú úsudok.

A softify.pro Flow dostáva niečo hodnotnejšie než zelený indikátor PASS.

Dostáva dôkaz, že zážitok sľúbený na jej prihlasovacej obrazovke naďalej existuje aj po tom, čo sa kód pod ňou zmení.

Control. Vedz, čo sa testuje, a udržuj prostredie pod kontrolou.

Clarity. Rozumej tomu, čo sa stalo, bez rekonštrukcie nepriehľadného automatizačného denníka.

Flow. Testuj aplikáciu ako proces, ktorý ľudia skutočne používajú.

Control. Clarity. Flow.

Bolo to napísané pre softvér.
Ukázalo sa, že to rovnako dobre popisuje aj testovaciu filozofiu za ním.