IBM Rational Functional Tester 7.0.1

Rational Functional Tester je robustní komerční nástroj pro automatické testování. Podporuje testování webových stránek a aplikací, java aplikací, .NET aplikací, Siebel Aplikací a SAPu.

Uživatelské rozhraní

Rational Functional Tester má jednoduché a přehledně uspořádané uživatelské rozhraní. V horní části najdeme panel nástrojů a funkcí. Samotnou pracovní plochu programu tvoří tři okna, jejichž vzájemné proporce nebo zobrazení lze změnit. Hlavní okno, navigační okno a pomocné okno.

Hlavní okno zobrazuje zdrojový kód testového skriptu a slouží jako hlavní prostředek pro práci s testovým skriptem.

Navigační okno slouží k zobrazení stromové struktury jednotlivých projektů a k nim přiřazeným testovým artefaktům, které jsme pomocí programu vytvořili.

V pomocném okně jsou zobrazeny doplňkové informace podle druhu činností, které uživatel nebo program právě provádí nebo provedl. Může se jednat například o položky datové tabulky, chybové hlášky po skončení běhu skriptu nebo výpisy na konzoli definované ve zdrojovém kódu testového skriptu.

Práce s Rational Functional Testerem

Testové skripty jsou v programu Rational Functional Tester složeny ze zdrojového kódu v jazyce java, který specifikuje akce prováděné nad jednotlivými objekty testované aplikace. Práce s Rational Functional Tester začíná vytvořením tzv. Projektu, pod kterým se bude do námi specifikované stromové struktury ukládat vše, co v nástroji vytvoříme.

Nahrání testového skriptu

Pro nahrání testového skriptu máme dvě možnosti. Nejjednodušší cesta vede přes nahrání testového skriptu pomocí záznamu akcí uživatele, které se převedou do zdrojového kódu testového skriptu a jsou dále editovatelné. Záznam může být kdykoliv pozastaven, například pokud dojde k nečekané situaci nebo nestandardnímu chování testované aplikace které nechceme zahrnout do testového skriptu, a poté opět spuštěn.

Druhý způsob představuje vytvoření tzv. objektové mapy, ve které jsou uloženy všechny objekty testované aplikace, které potřebujeme k jejímu otestování. Na základě těchto objektů píšeme zdrojový kód testového skriptu.

Vložení verifikačních bodů

Verifikační bod slouží k otestování vlastností určitého objektu. K jeho vytvoření se v Rational Functional Testerovi používá jednoduchý wizard pomocí kterého přímo vyhledáme objekt v testované aplikaci nebo ho vybereme z hierarchie objektů testované aplikace, určíme požadovanou vlastnost nebo vlastnosti, kterou chceme otestovat a jejich správné hodnoty, které se v pozdějším testu použijí.

Parametrizace skriptu

Jakékoliv fixní hodnoty, které jsme v testu použili, například text napsaný do formulářového okna nebo hodnota sloužící k otestování určité vlastnosti objektu, můžeme být nahrazena snadno měnitelným parametrem uloženým v tzv. Datapoolu. Jedná se o datovou tabulku s proměnnými uloženými ve sloupcích a jejich hodnotami v jednotlivých řádcích.

Datapool musíme vytvořit v externím tabulkovém procesoru a uložit ve formátu csv. Poté ho importujeme do Rational Functional Testera a přiřadíme k vybranému testovému skriptu, do kterého vložíme odkazy na jednotlivé sloupce datapoolu. Pokud obsahuje datapool více řádků, je nám při spuštění testového skriptu nabídnuta volba řádků datapoolu, které se mají pro test použít, popřípadě volba počtu iterací vybraných řádků. Takto importovaný datapool můžeme sdílet mezí více testovými skripty.

Do již vytvořeného a importovaného datapoolu můžeme pouze přidávat řádky s hodnotami proměnných a měnit jména sloupců. Přidání, přesun nebo smazání sloupce není možné.

Testové objekty

Rational Functional Tester disponuje pokročilým rozpoznáváním objektů na základě jejich vlastností. Při nahrávání testového skriptu je každý použitý objekt a jeho vlastnosti zaznamenán do tzv. Objektové mapy. Každé vlastnosti je přiřazena určitá procentuální váha, která hraje roli v pozdějším rozpoznávání objektu v testované aplikaci. Tato rozpoznávací kritéria jsou dále modifikovatelná a můžeme jednoduše přidat nebo ubrat požadované vlastnosti popřípadě změnit jejich procentuální váhu.

Rational Functional Tester také nabízí nahrazení fixních hodnot rozpoznávacích vlastností objektů, hodnotami definovanými jako regulární výraz. Tuto možnost využijeme při testování aplikaci s dynamicky generovanými objekty, jejichž rozpoznávací vlastnosti mohou být při každém běhu aplikace jiné.

Při přehrávání testového skriptu hledá Rational Functional Tester v testované aplikaci jednotlivé objekty podle jejich rozpoznávacích kritérií. Pokud nenajde objekt se stejnou sadou rozpoznávacích vlastností jaká je definovaná v objektové mapě, což může být zapříčiněno například drobnou změnou v rozhraní aplikace nebo změnou ve vlastnostech objektu, snaží se najít další vhodné kandidáty na základě největší shody rozpoznávacích kritérií a jejich vah. Jednotliví kandidáti jsou podle míry shody ohodnoceni tzv. Rozpoznávacím score a pokud se nejlepší kandidát vejde do nastavitelné tolerance je rozpoznán jako hledaný objekt.

Tento mechanismus rozpoznávání zaručuje použitelnost testového skriptu, navzdory drobnějším změnám testované aplikace. Při větších změnách v testované aplikaci nabízí Rational Functional Tester jednoduchou aktualizaci objektové mapy, bez nutnosti zásahů do testového skriptu.

Tolerance pro rozpoznávání objektů jsou dále nastavitelné a můžeme určit maximální hranici pro rozpoznání objektu, maximální hranici pro rozpoznání objektu a zobrazení varování ve výsledkovém logu a minimální rozdíl rozpoznávacího score pro dva nejlepší kandidáty. Mimo globálního nastavení máme možnost měnit tyto volby pomocí příkazů vkládaných přímo do zdrojového kódu skriptu a docílit tak různé nastavení citlivosti rozpoznávání objektů pro různé části testových skriptů.

Úpravy testového skriptu

Zdrojový kód testového skriptu můžeme upravit dvěma způsoby. První možnost představuje znovunahrání požadované části skriptu pomocí záznamu uživatelových akcí.

Druhou možností je přímá editace zdrojového kódu testového skriptu. Rational Functional Tester používá pro zápis zdrojového kódu testového skriptu programovací jazyk java a celý testový skript je uložen jako samostatná javovská třída. Rational Functional Tester poskytuje jednoduché základní příkazy a funkce pro zápis testového skriptu ale zkušenější uživatel může při programování dodatečných funkcí nebo řídící logiky testového skriptu plně využít potenciálu jazyku java.

Spuštění testu

Při spuštění testu můžeme zadat dodatečné vstupní parametry testového skriptu, zvolit počet opakování datapoolu a místo, kam se bude ukládat testový log.

Běh testu je indikován malým panelem nad testovanou aplikaci, tzv. Playback monitorem na němž se zobrazuje aktuální prováděná operace s číslem příslušného řádku v testovém skriptu. Pomocí playback monitoru je možné běh testového skriptu kdykoliv pozastavit, popřípadě přerušit.

Analýza výsledků

Pro zobrazení výsledků testů máme na výběr mezi několika druhy výsledkových logů. Nejjednodušší textový log, přehlednější HTML log s porovnávačem verifikačních bodů nebo export výsledků do externího nástroje pro test management.

Jednotlivé druhy logů se liší pouze vzhledem a dodatečnými funkcemi, obsažené informace o průběhu testu a jeho výsledcích jsou vždy totožné.

Znovupoužitelnost

Rational Functional Tester podporuje znovupoužitelnost jednotlivých testových skriptů. Každý vytvořený testový skript je možné pomocí volby při nahrávání nebo přímou editací zdrojového kódu vložit do jiného testového skriptu včetně předání parametrů.

Spolupráce s ostatními testovacími nástroji

Testové skripty vytvořené v Rational Functional Testerovi můžeme exportovat do nástroje IBM Rational Test Manager. Tento nástroj slouží k vytváření testových plánů, správě testových skriptů a jejich spouštění a analýze výsledků. Alternativou k exportování celých testových skriptů je export výsledků proběhlých testových skriptů spuštěných v Rational Function Testerovi a jejich uchování a analýza v Rational Test Managerovi.

Zhodnocení nástroje

Mezi hlavní přednosti Rational Functional Testera patří podpora programovacího jazyka java, bohaté možnosti nastavení pro práci s testovými objekty a jejich rozpoznáváním a znovupoužitelnost testových skriptů včetně možnosti předávání paramentů.

Hlavní nedostatek Rational Functional Testera vidím v těžkopádnosti a zbytečné složitosti některých akcí. Typickým příkladem je import a manipulace s datapoolem. Jedná se o zdlouhavý postup, při kterém nás od založení tabulky s testovými hodnotami a jejich samotným použitím v testovém skriptu dělí zbytečné množství kroků. Celou záležitost by ulehčil, podobně jako v ostatních robustních nástrojích pro automatické testování, jednoduchý tabulkový editor integrovaný v nástroji.

Mezi další nedostatky patří omezené možnosti pro otestování funkcionality. Rational Functional Tester disponuje pouze základním ověřováním vlastností jednotlivých objektů. Pokročilejší testování funkcionality, jakým je například testování tabulek, ověření hodnot v databázi nebo porovnávání textu, je možné pouze za předpokladu že uživatel dostatečně ovládá programovací jazyk java a potřebné funkce sám naprogramuje na míru podle testované aplikace.

Menší potíže mohou nastat také při orientaci ve zdrojovém kódu testového skriptu. Pokud uživatel není zvyklý na programování a zápis zdrojového kódu, mohou pro něj být začátky práce s Rational Functional Testerem obtížné.

Rational Functional Tester patří k robustním testovacím nástrojům, vhodným pro pokročilejší uživatele se znalostí programování v jazyce java. Největší uplatnění nalezne při testování webových stránek, webových aplikací a java aplikací.