Nástroje pro automatické testování

Automatické testování se neobejde bez využití příslušných softwarových nástrojů. V robustnějších nástrojích pracuje uživatel v přehledném uživatelském rozhraní s možností jednoduchého nahrání testového skriptu, zachycení testované funkcionality, spuštění testového skriptu a vyhodnocení výsledků. Samozřejmostí je možnost úpravy vygenerovaného testového skriptu, plná podpora některého programovacího jazyka, která umožňuje zkušenému testerovi doprogramování dodatečných funkcí a možnost integrace s jinými nástroji pro testování softwaru. Práce s takovými nástroji je rychlá, přehledná a pohodlná, ale vše je vykoupeno odpovídající cenou.

Jednodušší, volně šiřitelné nástroje, většinou postrádají grafické uživatelské rozhraní a vyžadují velmi dobrou znalost některého programovacího jazyka, pomocí kterého probíhá veškerá testerova interakce s testovanou aplikací. Pro větší nasazení automatického testování se takové nástroje příliš nehodí a uplatnění najdou spíše u menších projektů.

Principy fungování nástrojů pro automatické testování

Nahrání a spuštění testového skriptu

Nahrání a spouštění testového skriptu představuje hlavní a nejdůležitější funkci nástrojů pro automatické testování softwaru. Většina nástrojů pro automatické testování softwaru s grafickým uživatelským rozhraním používá metodu simulace uživatele. Během nahrávání testového skriptu nástroj zaznamená všechny akce uživatele a zapíše je do zdrojového kódu testového skriptu. K tomu může používat vlastní programovací jazyk nebo v lepším případě některý z obecně používaných programovacích jazyků. Alternativně může tester psát zdrojový kód testového skriptu přímo. Při přehrání testu potom nástroj provede dané akce přesně podle zdrojového kódu skriptu.

Při nahrávání testového skriptu mohou být akce uživatele zaznamenány dvojím způsobem. Jednodušší řešení představuje zachycení stisknutých kláves, pohybů a kliknutí myší na pevně zadané souřadnice na obrazovce, které je při přehrání testu reprodukováno. Velkou nevýhodou tohoto přístupu je nutnost znovunahrání testu při sebemenší změně testované aplikace.

Druhý způsob přestavuje vytvoření jakési mapy objektů v testované aplikaci, se kterými může uživatel pracovat. Jedná se například a tlačítka, formulářové pole, přepínače, odkazy, nápisy a pod. Každý z těchto objektů má určité vlastnosti, podle kterých ho může nástroj identifikovat. Nástroj při nahrávání testového skriptu sleduje a uživatelovu interakci s těmito objekty a vše zapisuje do zdrojového kódu testového skriptu.

Při spuštění testového skriptu nástroj hledá odpovídající objekty v testované aplikaci a provádí na nich, akce které zaznamenal. Výhodou tohoto způsobu je přizpůsobivost drobným změnám v testované aplikaci. Například při přesunu ovládacích prvků je nástroj stále schopen tyto prvky díky jejich nezměněným vlastnostem rozpoznat a provést na nich požadované akce. Rozpoznávací kritéria jednotlivých objektů můžeme dále upravovat a přizpůsobovat pro dosažení co nejlepších výsledků.

Verifikační body

Nejdůležitější součástí každého automatického testu jsou tzv. verifikační body, neboli body ověření. Slouží k vlastnímu otestování dané aplikace. Může se jednat o ověření umístění ovládacích prvků, textu nebo vlastností některého objektu. Druhy verifikačních bodů se můžou s jednotlivými testovacími nástroji lišit stejně tak jako způsob jejich vytvoření. V lepších nástrojích s grafickým uživatelským rozhraním můžeme verifikační body nahrávat podobně jako celý testový skript. V testované aplikaci si při nahrávání určíte prvky, které se mají otestovat, zvolíme příslušný druh verifikačního bodu a atributy, kterých by měl testovaný prvek pro úspěšný test nabývat.

Vyhodnocení testu

Poslední klíčovou fází automatického testování je vyhodnocení provedených testů. Každý nástroj pro automatické testování podporuje jeden nebo několik druhů logování průběhu testu a záznamu chyb. Může se jednat o textové logy, html logy, logy ve zvláštním proprietálním formátu daného nástroje nebo výstup do externí aplikace nebo databáze.

Požadavky na nástroje pro automatické testování

Robustnější nástroje pro automatické testování by měly splňovat následující požadavky: přehledné uživatelské rozhraní, snadné nahrání testového skriptu a jeho modifikace, podpora některého programovacího jazyka, snadná analýza výsledků a integrovatelnost s ostatními nástroji pro testování softwaru.

Uživatelské rozhraní

Přehledné uživatelské rozhraní je základem pro rychlou a příjemnou práci s daným nástrojem. Tester by měl mít snadný přístup ke všem základním funkcím a také možnost přizpůsobení obsahu pracovní plochy nástroje podle svých požadavků.

Snadné nahrání testového skriptu

Nahrávání testového skriptu je jednou z nejdůležitějších součástí práce, a proto je nutné, aby bylo jednoduché a efektivní. Nejvhodnější způsob představuje nahrání testového skriptu podle akcí provedených v testované aplikaci a jejich zaznamenání pomocí mapy objektů. Tím se zajistí znovupoužitelnost testu a ušetření práce při změnách testované aplikace.

Modifikovatelnost testového skriptu

Nahrané testové skripty by měly být jednoduše modifikovatelné pomocí nového nahrání zastaralé části skriptu nebo přímou úpravou zdrojového kódu.

Podpora programovacího jazyka

Pokud nástroj podporuje některý zavedený programovací jazyk, může zkušenější tester do zdrojového kódu skriptu doprogramovat dodatečnou funkcionalitu nebo zvláštní řídící logiku složitějších testů.

Snadná analýza výsledků

Při zvyšujícím se množství automatických testů je snadná analýza výsledků klíčovým prvkem pro jejich hladký průběh. V nástroji by neměla chybět možnost výběru z několika druhů zapisování výsledků. Ať již do textových logů, html logů, nebo nejlépe jejich export do jiné aplikace nebo databáze.

Znovupoužitelnost testových skriptů

Tvorba automatických testových skriptů je časově náročná činnost a podobně jako v jiných oblastech vývoje softwaru je i zde více než výhodné v co největší míře znovupoužívat hotové skripty nebo jejich části.

Při psaní většího množství automatických testů pro jedinou aplikaci dříve nebo později narazíme na sekvenci testových kroků, které se ve stejné struktuře opakuje u více testových skriptů. Může se jednat například o složitou navigaci v menu testované aplikace, která nás má dovést k požadované funkci. Nahrávání takové sekvence separátně pro každý testový skript, ve kterém je použita, je neefektivní nejen z hlediska času, ale také v případě pozdější změny, kterou budeme muset zachytit opět separátně v každém testovém skriptu.

Daleko lepší řešení představuje nahrání sekvence jednou a její uložení jako znovupoužitelné části, kterou můžeme později pomocí odkazu využít v ostatních testových skriptech. Změny v menu testované aplikace, které mohou později nastat, elegantně vyřešíme úpravou znovupoužitelné části.

Některé testovací nástroje jdou v oblasti znovupoužitelnosti ještě dále a umožňují nám přistupovat ke znovupoužitelným částem podobným způsobem jako k funkcím programovacích jazyků včetně předávání parametrů, se kterými bude znovupoužitelná část pracovat. Typickými příklady je například nalogování do testované aplikace. Sekvence kroků použitá pro tuto akci bude vždy stejná. Jediná věc, která se bude pro každý test lišit jsou přihlašovací údaje, které předáme ve formě vstupních parametrů.

Integrovatelnost s dalšími nástroji pro testování softwaru

Důležitou vlastností pro úspěšný chod testování je integrovatelnost s ostatními nástroji pro testování softwaru. Velmi výhodná je integrace s nástroji pro test management a nástroji nebo databází pro správu nalezených chyb. Získáme tím výkonnou základnu pro vývoj, řízení a analýzu výsledků provedených testů a do vzniklého procesu se mohou zapojit také další členové testovacího týmu.

Nabídka na trhu s nástroji pro automatické testování

Na trhu s nástroji pro automatické testování softwaru můžeme identifikovat několik vedoucích společností, které produkují kompletní řešení pro manuální i automatické testování softwaru a test management.

Mimo těchto hlavních hráčů existuje mnoho menších společností a open-source projektů, které přestavují určitou alternativu k drahým testovacím řešením. Jejich nevýhodou je jejich omezená funkcionalita, složité vytváření testových skriptů a omezené možnosti testování. I přes tato omezení představují tyto nástroje pro zkušené uživatele možnost automatického testování, byť jen v omezeném měřítku, bez nutnosti nákupu drahých testovacích nástrojů.

Mercury QuickTest Professional 9.2

QuickTest Professional patří mezi robustní testovací nástroje. Je určený k testování webových stránek a aplikací, windows aplikací, prvků Active X a aplikací vytvořených v programovacím jazyce Visual Basic. Podporuje programovací jazyk Visual Basic Script, ale pro základní práci od uživatele nevyžaduje znalost programování. Jeho výrobcem je společnost Mercury Interactive, která je v současné době dceřinou společností společnosti Hewlett-Packard. Cena jedné licence se pohybuje v rozmezí 250 000 až 375 000 kč. Vývoj tohoto nástroje stále pokračuje.

Mercury Interactive WinRunner 8.2

Jedná se o předchůdce testovacího nástroje QuickTest od společnosti Mercury Interactive, jehož vývoj byl v roce 2005 ukončen. Nabízí podobné funkce jako QuickTest a je stále použitelný pro automatické testování.

IBM Rational Functional Tester 7.0.1

Robustní testovací nástroj společnosti Rational Software, která je od roku 2003 součástí společnosti IBM. Rational Functional Tester je určený k testování webových stránek a aplikací, java aplikací, .NET aplikací, Siebel Aplikací a SAPu. Pro zápis zdrojového kódu testového skriptu používá programovací jazyk Java. Cena jedné licence se pohybuje okolo 80 000 kč.

Borland SilkTest

SilkTest je testovací nástroj společnosti Borland. Podporovanou funkcionalitou se přibližuje nástrojům QuickTest nebo Rational Functional Tester. Mezi jeho zajímavé vlastnosti patří platformová nezávislost a objektový jazyk 4.generace pro tvorbu testových skriptů.

Canoo WebTest

Canoo WebTest je volně šiřitelný nástroj od společnosti Canoo. Pro psaní testových skriptů používá speciální programovací jazyk založený na XML. Jeho použití proto vyžaduje zkušenější testery se znalostí programování a značkovacích jazyků.

WET Web Tester

WET WebTest je open-source varianta ke komerčním testovacím nástrojům. Některými funkcemi se vyrovná robustním komerčním testovacím nástrojům, ale díky svým omezením nepředstavuje plnohodnotnou náhražku některého z nich. Jeho vývoj stále probíhá s momentální aktivní verzí 1.0.0.