Případová studie

Na následující případové studii budu demonstrovat doporučení konkrétního nástroje pro automatické testování modelové společnosti která má zájem o zavedení automatického testování.

Stávající situace

Popis společnosti

Uvažovaná společnost je jedním z největších obchodníků se zemědělskými produkty v ČR. Její IT vývojové oddělení tvoří 5 analytiků, 8 programátorů a 4 testeři.

Popis testovacího projektu

Testovací projekt je zaměřen na testování vyvýjeného ERP systému. Doposud probíhalo veškeré testování manuálně.

Testovací tým

Testovací tým společnosti tvoří testeři se zkušenostmi s manuálním testováním softwaru a malou nebo žádnou znalostí programování. Pro podporu manuálního testování používají nástroje pro tvorbu manuálních testů Rational Manual Tester a nástroj pro test management Rational Test Manager. Oba nástroje jsou součástí řešení společnosti IBM.

Uvažované nástroje pro automatické testování

Společnost se pro účely automatizace testování rozhoduje mezi dvěma testovacími nástroji, popřípadě celým řešením daného výrobce. Jedná se o Rational Functional Tester od společnosti IBM a QuickTest Professional od společnosti Mercury Interactive.

Zamýšlené cíle

Během procesu vývoje probíhalo pouze manuální testování a společnost má pro urychlení testovacího procesu a rozšíření rozsahu testů v plánu nákup nástrojů pro automatické testování softwaru a následnou automatizaci části testů. Testovací tým stráví mnoho času regresním testováním, proto se počítá s prioritní automatizací právě této oblast testovacího procesu. Dále se počítá s postupnou automatizací testů zaměřených ověřování správného zakládání různých typů obchodních dokladů a s nimi souvisejících skladových operací a dalších datově zaměřených testů.

Návrh řešení

Určení kritérií pro výběr nástroje

Při určení základních kritérií pro výběr nástroje vyjdeme z výše uvedené tabulky 12 obsahující kritéria, kterými jsem v předchozích kapitolách hodnotil vybrané nástroje, a nástroj který dané kritérium nejlépe splňuje. Každému kritériu přiřadíme váhu korespondující s popisovanou situací a zamýšleným rozsahem a zaměřením testování. Pro zjednodušení jsou hodnoty vah v rozsahu 1 až 3 , přičemž 1 představuje nejméně a 3 nejvíce důležité kritérium. Seznam kritérií, jejich vah a nástroje který dané kritérium nejlépe splňuje obsahuje tabulka 13.

Určení vah jednotlivých kritérií

Zaměření testů a rozsah, které jsou popsané v zadání, vyžaduje testovací nástroj s dobrou podporou programovacího jazyka, pomocí něhož budou testeři schopní vytvářet složitější testové skripty a pro usnadnění práce v co největší míře podporovat používat starší testové skripty. Z toho důvodu byla zvolena nejvyšší váha u kritérií Modifikovatelnosti a Znovupoužitelnosti testových skriptů.

Nákup nástrojů pro automatické testování představuje velikou finanční zátěž pro celý projekt. Cena testovacího nástroje proto hraje podstatnou roli při konečném hodnocení a byla pro ní zvolena rovněž nejvyšší váha.

Jako středně důležitá byla zvolena kritéria Práce s nástrojem, Tvorba testových skriptů a Analýza výsledků. Tato kritéria představují základní pilíře pro rychlou a efektivní práci na kterých můžeme při tvorbě automatických testů stavět.

Pro automatické testování ERP systému dle výše uvedeného zadání není potřeba příliš široké spektrum funkcionality kterou bychom potřebovali otestovat. Ve většině případů vystačíme s prostým ověřováním správnosti číselných hodnot. Proto byla kritériu Možnosti testování přiřazena nejnižší důležitost. Integrovatelnost s dalšími testovacími nástroji dle zadání rovněž nepředstavuje prioritní cíl a její důležitost dostala z tohoto důvodu nejnižší váhu.

Tabulka : Kritéria výběru, jejich váhy a nástroje které je nejlépe splňují

Vyhodnocení

Pokud pro každý nástroj sečteme váhy kritérií ve kterých byl lepší dojdeme k závěru že Rational Functional Tester je s 9-ti body lepší než QuickTest s 8-mi body. Tento výsledek je sice velice těsný, ale ve prospěch Rational Functional Testera mluví také to, že byl lepší ve třech nejdůležitějších kritériích výběru, tj. Modifikovatelnosti testových skriptů, Znovupoužitelnosti testových skriptů a Ceně. Další výhodou je již používané řešení společnosti IBM do něhož můžeme Rational Functional Tester snadno integrovat.

Doporučení pro výběr nástroje

Na základě výsledků bych společnosti doporučil nákup testovacího nástroje Rational Functional Tester společně se školením práce s nástrojem. Dále bych, pro co nejefektivnější použití vybraného nástroje, doporučil zaměstnání testerů se znalostí programovacího jazyka java, případně vyškolení stávajících členů testovacího týmu.

Závěr

Cílem mé práce bylo seznámit čtenáře s problematikou automatického testování softwaru a jeho podpory nástroji pro automatické testování softwaru. V základní teoretické části jsem rozebral teorii testování softwaru. Věnoval jsem se výkladu základních pojmů a vysvětlení různých definic testování softwaru. V dalších částech jsem vyložil a popsal způsoby, kterými lze k testování softwaru přistupovat a seznámil čtenáře s obvyklým obecným postupem, kterým testování softwaru probíhá.

V části práce, zabývající se automatickým testováním softwaru, jsem rozebral základní problémy při použití manuálního přístupu při testování softwaru a jejich možné řešení nasazením automatického testování. Mimo výhod automatického testování jsem také zmínil jeho nedostatky a omezení. Poslední část této kapitoly jsem věnoval problematice využití automatického testování, zejména pak kritériím jeho nasazení na reálné testovací projekty.

Poslední teoretickou částí mé práce byla kapitola věnovaná nástrojům pro automatické testování softwaru. Zde jsem se zaměřil na vysvětlení principů fungování nástrojů pro automatické testování softwaru a výklad požadavků, které by měl nástroj pro automatické testování softwaru splňovat. V závěrečné části kapitoly jsem nastínil situaci na trhu s nástroji pro automatické testování softwaru a stručně popsal několik nabízených nástrojů.

V praktické části mé práce jsem se podrobně věnoval popisu a zhodnocení dvou testovacích nástrojů. K tomuto účelu jsem vybral nástroje Mercury QuickTest a Rational Functional Tester, z důvodu jejich zaměření na testování webových stránek a aplikací a silného zastoupení na trhu, které z nich dělá časté kandidáty pro společnosti uvažující o automatizaci testů. Oba nástroje jsem podrobně popsal a při vzájemném porovnání zhodnotil jejich výhody a nevýhody dle kritérií, které jsem definoval na začátku kapitoly.

Při závěrečném hodnocení uvedených nástrojů jsem došel k závěru, že nelze jednoznačně určit který z porovnávaných nástrojů je pro automatické testování vhodnější. Je tomu tak proto, že požadavky na nástroj pro automatické testování softwaru se bude pro každou konkrétní společnost, která bude o automatizaci testování uvažovat, lišit. Pomocí případové studie jsem proto na příkladu modelové společnosti nastínit možný postup při výběru vhodného nástroje pro automatické testování softwaru, založený na dříve definovaných kritériích a jejich vahách určených podle popsané situace a požadavků modelové společnosti. Na základě výsledků jsem modelové společnosti doporučil nástroj Rational Functional Tester.

Přínos své práce vidím v osvětlení problematiky automatického testování softwaru a jeho podpory softwarovými nástroji. Možnosti a omezení automatického testování jsem rozebral jak teoreticky, tak i prakticky při popisu dvou konkrétních testovacích nástrojů. Dále jsem při porovnáním těchto nástrojů nastínil možná kritéria a způsob výběru nástroje pro automatické testování, kterými by se mohla řídit společnost uvažující o nasazení automatického testování a na případové studii předvedl způsob jejich možného použití.