Proiectarea testului docimologic (etape/pasi). Definitia itemului din perspectiva evaluarii moderne. Tipologia itemilor

Proiectarea testului docimologic (etape/pasi). Definitia itemului din perspectiva evaluarii moderne. Tipologia itemilor. Itemii obiectivi: avantaje si dezavantaje in proiectare si in utilizare.

1. Proiectarea testului (etape/pasi)

Elaborarea unui test pedagogic/docimologic presupune parcurgerea mai multor etape (Evans, 1985; Crocker si Algina, 1986; Radu, 2000):

Stabilirea scopului probei (diagnostic sau prognostic) determina structura si continutul acesteia.

Selectarea continuturilor si a obiectivelor corespunzatoare care vor fi vizate prin intermediul testului este sintetizata intr-un tabel/matrice de specificatii (Crocker si Algina, 1986; Mason si Bramble, 1997; Radu, 2000; Gall, Gallsi Borg, 2007). Acest tabel de specificatii include pe verticala continuturile care vor fi evaluate, iar pe orizontala obiectivele corespunzatoare, ierarhizate in acord treptele unei taxonomii a domeniului cognnitiv (in cazul taxonomiei lui Bloom: cunoastere, comprehensiune, aplicare, analiza, sinteza si evaluare).

Formularea itemilor constituie cea mai laborioasa etapa a elaborarii unui test pedagogic.

Stabilirea unei grile de corectare care sa includa raspunsurile corecte pentru fiecare item usureaza considerabil activitatea evaluatorului.

Elaborarea baremului de corectare sau a modalitatii de calculare a scorurilor va permite evaluarea precisa si identica a raspunsurilor formulate de fiecare subiect. In cazul itemilor subiectivi, baremul de corectare include elemente ale raspunsului care vor fi punctate.

Daca este vorba de teste nestandardizate sau elaborate de profesor, etapa urmatoare include aplicarea testului, in timp ce in cazul testelor standardizate aceasta etapa este pregatita de etapele de pretestare si de revizuire, reformulare si definitivare a acestuia. A. Anastasi (1976, p. 413) indica insa ca si in cazul testelor nestandardizate trebuie realizata o pretestare care sa includa o analiza a itemilor (calcularea coeficientului de dificultate si a celui de discriminare).

Pretestarea are in vedere verificarea calitatilor globale ale testului (Karmel si Karmel, 1978; Radu, 2000; Moise, 2003) - obiectivitate, aplicabilitate, fidelitate si validitate, precum si a calitatilor fiecarui item - dificultate si putere de discriminare.

In ultima etapa de construire a unui test - revizuirea acestuia o parte dintre itemi sunt fie reformulati, fie eliminati in functie de rezultatele analizei privind caracteristicile prezentate anterior. Pentru a fi corect aplicat un test docimologic standardizat, ca si un test psihologic trebuie insotit de un manual de utilizare care sa includa toate detaliile tehnice, precum si informatii complete privind administrarea si maniera de calculare a scorurilor.

Avantajele si limitele testului in general, si a celui pedagogic/docimologic, in special, au fost indelung dezbatute: in timp ce unii au subliniat faptul ca ele constituie mijloace eficiente de cunoastere a performantelor subiectilor, de selectie a acestora (atunci cand acesta este scopul aplicarii lor) si poate contribui la luarea deciziei de tratare diferentiata, altii au invocat lipsa de rigoare in elaborarea si administrarea unora dintre teste. Testele normative au fost adesea criticate pentru raportarea la rezultatele unui grup de referinta, care nu intotdeauna este potrivita (vezi situatii persoanelor din minoritati etnice, care vorbesc alta limba decat cea in care este administrat testul). Testele standardizate care includ prea multe raspunsuri inchise au fost criticate pentru faptul ca evalueaza mai degraba capacitatea de memorare a subiectilor, in timp ce testele cu itemi de tip eseu sunt considerate prea subiective. Valoarea testelor depinde in mare masura de competenta celor care le elaboreaza si de pregatirea celor care le aplica si calculeaza scorurile, de unde si nevoia de pregatire riguroasa a acestora.

Este incontestabila contributia testelor nu doar in reglarea activitatii educationale (elaborarea programelor de recuperare sau accelerare), ci si in realizarea unor cercetari educationale credibile. In ciuda acestui fapt, testul trebuie utilizat cu precautie, in conditiile respectarii tuturor etapelor si conditiilor de elaborare, administrare si calculare a scorurilor.

Desi o abordare sistematica ar presupune parcurgerea in ordine stricta a etapelor de elaborare a testului docimologic, vom incepe prin a detalia aspecte legate de proiectarea itemilor unui test, urmand ca elaborarea matricei de specificatii si calitatile testului sa fie prezentat in alte unitati tematice.

2. Definitia itemului din perspectiva evaluarii moderne

Din perspectiva evaluarii scolare prin teste docimologice, itemul poate fi definit ca unitate de masurare care include un stimul si o forma prescriptiva de raspuns, fiind formulat cu intentia de a suscita un raspuns de la cel examinat, pe baza caruia se pot face inferente cu privire la nivelul achizitiilor acestuia intr-o directie sau alta (Osterlind, 1998; Downing si Haladyna, 2006). Itemul poate fi prezentat izolat sau in stransa relatie cu alti itemi de acelasi tip sau din tipologii diferite, poate presupune alegerea sau elaborarea raspunsului, intr-un timp strict determinat sau fara limita de timp.

Item=intrebare+raspuns a teptat

Itemii trebuie sa respecte aceleasi exigente de proiectare, administrare si scorare, indiferent de natura testului in care sunt inclusi (teste elaborate de profesor-teste standardizate; teste formative-teste sumative etc.).

Clasificarea itemilor se realizeaza in func ie de mai multe criterii, dintre care , mai importante sunt: obiectivitatea notarii i tipul de raspuns a teptat.

Tipologia itemilor include itemi obiectivi, semiobiectivi si subiectivi (Radu, 2000; Mandrut, 2001; Moise, 2003; Cucos, 2007).

Itemii obiectivi permit masurarea exacta a rezultatelor si sunt utilizati mai ales in testele standardizate si pot fi (Evans, 1985; Crocker si Algina, 1986; Radu, 2000; Moise, 2003):

itemi cu alegere duala care solicita subiectului sa aleaga unul din cele doua posibilitati de raspuns de tipul: adevarat-fals, corect-gresit, potrivit/nepotrivit;

itemi cu alegere multipla care solicita alegerea unui raspuns dintr-o lista de alternative;

itemi de imperechere sau de asociere care presupun stabilirea unei corespondente intre doua liste de afirmatii sau concepte.

Itemii semiobiectivi nu sunt inclusi in lucrarile mai vechi de metodologie a cercetarii, insa sunt mentionati de autori romani care au abordat testul docimologic ca instrument de evaluare scolara (Mandrut, 2001; Radu, 2000, p. 217-218). Itemii semiobiectivi pot fi itemi cu raspunsuri scurte, fiind formulati concis si specificand clar natura raspunsului corect; itemi de  completare care presupun completarea unui cuvant sau a unei sintagme intr-un text lacunar; itemi structurati care se constituie dintr-un set de intrebari care au in comun un element sau se refera la acelasi fenomen, concept.

Itemii subiectivi solicita raspunsuri deschise, care in functie de volumul si amploarea raspunsului asteptat pot avea caracter restrictiv si extins (Radu, 2000; Moise, 2003). Itemii de tip rezolvare de probleme si cei de tip eseu (structurat sau nestructurat) constituie variantele de itemi subiectivi utilizati in evaluarea scolara (Mandrut, 2001; Cucos, 2007). Natura acestor itemi imprima o nota subiectiva si calcularii scorurilor, a punctajelor chiar daca se elaboreaza un barem de corectare foarte riguros.

Fiecare dintre tipurile de itemi amintiti are avantaje si limite specifice si trebuie sa respecte criterii de formulare, de care depinde calitatea globala a testului (Radu, 2000; Moise, 2003). In elaborarea unui test docimologic, trebuie avuta in vedere complementaritatea si dificultatea gradata a tipurilor de itemi.

Vom prezenta sistematic toate cele trei categorii de itemi, prezentand avantaje si dezavantaje si exemplificandu-i prin apel la extrase din variantele de subiecte pentru tezele unice din anul 2008 .

Itemii obiectivi. Avantaje si dezavantaje. Exigente de proiectare

Itemii obiectivi presupun intotdeauna alegerea raspunsului/raspunsurilor corecte dintr-o lista anterior elaborata pusa la dispozitie celui examinat, fiind denumiti si itemi cu raspuns dat. Raspunsul corect este identic pentru toti cei examinati, iar evaluatorii corecteaza acesti itemi strict identic. 

Putem delimita trei categorii de itemi obiectivi, diferentiati atat in functie de natura stimulului, cat si in functie de natura raspunsurilor solicitate: itemi cu raspuns dual (alternativ), itemi cu raspuns de tip alegere multipla si itemi de asociere.

Itemii cu raspuns dual se elaboreaza sub forma unor enunturi complete, pe care examinatul trebuie sa le accepte sau sa le respinga. Raspunsurile corecte sunt marcate cu ajutorul unor intiale ("A" - "F", daca raspunsul este considerat adevarat, respectiv fals; mentionam ca se poate introduce si varianta "O" reprezentand faptul ca enuntul este o opinie, nefiind nici adevarat, nici fals) sau al cuvintelor "DA"-"NU", plasate in fata fiecarui enunt sau dupa acesta. Acest tip de item este alcatuit dintr-o instructiune pentru cel examinat, unul sau mai multe enunturi continand sarcina de rezolvat, insotite de variantele de raspuns (DA-NU; Adevarat-Fals etc.). Exista si alternativa ca examinatul sa plaseze (nu sa bifeze) aprecierile de tip A-F, Da-Nu in relatie cu itemii corespunzatori.

In general, itemii cu raspuns dual conduc la evaluarea unor comportamente corespunzatoare nivelelor taxonomice inferioare (cunoasterea si intelegerea), insa pot fi utilizati in elaborarea testelor pentru majoritatea disciplinelor de invatamant.

Exemplul 1 - Fie numerele: 4 2,5 5 7,5.

A F Media aritmetica a numerelor este 10,5.

Avantaje ale itemilor cu raspuns dual

Precizia si simplitatea sarcinilor de rezolvat creste fidelitatea si obiectivitatea acestui tip de itemi.

Permit evaluarea unui numar relativ mare de comportamente (se pot acoperi continuturi extinse) intr-un timp scurt, dat fiind faptul ca raspunsurile sunt anterior formulte, iar examinatul indica doar valoarea de adevar a acestora.

Favorizeaza evaluarea unor comportamente asociate unor nivele taxonomice diferite (cunoastere, intelegere si, in conditii speciale, aplicare).

Proiectarea lor este relativ simpla, rezultatele fiind usor de cuantificat.

Dezvantaje ale itemilor cu raspuns dual

Validitatea este relativ mica, datorita simplitatii itemilor de acest tip, ceea ce conduce la orientarea spre nivelele taxonomice inferioare.

Nu permit nuantari in evaluarea elevului, dat fiind caracterul fix si scurt al raspunsului, avand valoare diagnostica redusa (nu ofera evaluatorului informatii cu privire la ratiunile pentru care examinatul a ales una sau alta dintre cele doua variante).

Daca este comparat cu toate celelalte tipuri de itemi, se poate aprecia ca permite cea mai mare probabilitatea de a ghici din partea celui examinat. Teoretic, exista 50% "sanse" ca elevul sa ghiceasa raspunsul corect.

Exigente de proiectare a itemilor cu raspuns dual

Evitarea adevarurile banale si inutile in situatia de utilizare a testului.

Evitarea enunturile negative (mai ales cele care includ o dubla negatie).

Evitarea formularilor lungi si inexacte, care nu permit orientarea elevului catre raspunsul corect.

Evitarea includerii in acela i enunt a doua idei care nu se afla in relatie directa si pot dezorienta elevul.

Lungimea enunturilor adevarate si false trebuie sa fie aproximativ aceeasi, pentru a nu intinde elevului capcana de a "ghici" raspunsul corect, speculand ca enuntul mai elaborat este adevarat.

Numarul enunturilor adevarate si false trebuie sa fie echilibrat pentru a nu determina elevul sa greseasca prin generalizarea unei reguli pe care poate considera ca a desprins-o din rezolvarea itemilor anteriori ("daca toate raspunsurile au fost false si acesta e tot fals").

Itemii cu raspuns de tip alegere multipla pot servi atat la masurarea unor comportamente specifice nivelelor taxonomice inferioare, cat si a comportamentelor asocite cu analiza si evaluare (Berk, 1999 citat de Schreerens, Glas si Thomas, 2003).

Acest tip de item este alcatuit din doua elemente:

• tulpina (engl. stem), problema, sau premisa (Mandrut, 2001; Popham, 2003) 'premisa', formulata printr-o intrebare directa sau printr-un enunt incomplet
• o serie de alternative de raspunsuri propuse examinatului, din care una este corecta sau cea mai buna, iar celelalte au rolul de distractori, constituind obstacole ce trebuie depasite de catre examinati in alegerea raspunsului corect (distractorii au caracter mai degraba stimulativ, decat derutant.

Avand in vedere natura raspunsului care se poate solicita examinatului, itemii cu raspuns de tip alegere multipla pot fi proiectati in doua variante (Moise, 2003):

• Itemii cu raspuns corect presupun alegerea raspunsului corect care completeaza un enunt, dintr-o lista de alternativa pusa la dispozitie elevului. Se aseamana cu itemii semiobiectivi tip raspuns scurt (de completare), singura diferenta constand in faptul ca elevul alege raspunsul, nu il elaboreaza el insusi. Itemii de acest tip se cantoneaza la nivelul cunoasterii din taxonomia domeniului cognitiv.
• Itemii cu raspunsul cel mai bun sunt preferati pentru evaluarea pe nivele taxonomice mai inalte (analiza si evaluare). Mai multe dintre raspunsurile pe care elevul trebuie sa le analizeze sunt acceptabile, dar in masura diferita, elevul trebuind sa indice cea mai potrivita varianta.

Exemplul 1 - Teze cu subiect unic- Ghid de pregatire, clasa a VII a 2008

O lucrare este finalizata de 4 muncitori in 12 ore. In acelea i condi ii, 3 muncitori ar finaliza lucrarea in:

A. 15 ore B. 9 ore C. 16 ore D. 10 ore

Avantaje ale itemilor de tip alegere multipla

Pot fi utilizati atat in evaluarea unor comportamente simple, de natura reproductiva, cat si in evaluarea unor comportamente complexe, specifice nivelelor taxonomice inalte.

Pot acoperi continuturi diverse, la un nivel de profunzime satisfacator.

Proiectarea, administrarea si scorarea este relativ simpla. Dificultati in proiectare pot fi invocate doar in cazul itemilor cu alegere multipla de tip "cel mai bun raspuns", care trebuie sa fie atent conectat cu elementele de continut corespunzatoare.

Indiferent de forma in care sunt utilizati, au eficienta crescuta, avand in vedere volumul mare de continuturi care poate fi evaluat intr-o singura sesiune de evaluare.

Dezavantaje ale itemilor de tip alegere multipla

Faptul ca raspunsurile sunt gata elaborate nu permite evaluarea capacitatilor creative ale elevului, a capacitatilor de organizare a informatiilor (sinteza).

Itemii care solicita precizarea celui mai bun raspuns sunt dificil de proiectat - distractorii trebuie sa fie suficient de contrastanti prin raport cu raspunsul corect, insa alternativele trebuie sa fie totodata omogene.

Scorarea itemilor cu alegere multipla, in varianta raspunsul cel mai bun poate genera dezacorduri intre evaluatori, in cazul in care exista mai mult de o varianta de raspuns corecta (Mandrut, 2001).

Exigente de proiectare a itemilor cu raspuns dual

"Tulpina" itemului trebuie sa fie formulata clar, complet si logic, evitandu-se impreciziile si ambiguitatile.

Distractorii trebuie sa fie relativ omogeni, fara a se introduce alternative de raspuns fara nici o legatura cu problema ilustrata in enunut.

Trebuie evitate redundantele verbale in prezentarea variantelor de raspuns, pentru a usura lectura si rezolvarea itemulului de catre elev.

Tulpina sau premisa trebuie sa evite formularile negative, care genereaza dificultati in interpretarea itemului de catre elev.

Desi recomandarea de mai sus se aplica si distractorilor, exista voci care sustin necesitatea unei alternative de raspuns de tipul "nici o varianta din cele de mai sus" (dar nu de tipul "toate raspunsurile de mai sus"), deoarece acesta ar reprezenta o reala provocare pentru elev (Popham, 2003).

Daca un test include mai multi itemi cu alegere multipla, pozitia raspunsului corect trebuie sa varieze, pentru a descuraja elevul sa speculeze asupra locului alternativei care trebuie bifata.

Distractorii trebuie sa constituie raspunsuri plauzibile, nu evident nepotrivite cu enuntul problemei, astfel incat sa stimuleze elevul in analiza fiecarui posibil raspuns.

Itemii de asociere (engl. matching items) sau tip pereche solicita elevului sa stabileasca corespondenta intre doua seturi de concepte, date, informatii etc., plasate de regula in doua coloane diferite: o prima coloana este destinata premiselor sau stimulilor, iar in a doua coloana sunt incluse raspunsurile. Premisele si raspunsurile pot fi perechi de evenimente si date, termeni si definitii, reguli si exemple, simboluri si concepte, autori si tiluri de carti, plante, animale si clasificari, principii si aplicatii, cauze si efecte, afirmatii teoretice si experimente etc. (Moise, 2003). In functie de natura continuturilor, exista si moduri alternative de prezentare a premiselor si a raspunsurilor, cu ajutorul hartilor, diagramelor, imaginilor etc., care sa-l ajute pe elev in rezolvarea sarcinii. In cazul scolarilor mici se poate sugera marcarea relatiilor dintre premise si raspunsuri prin sageti sau linii simple.

Exemplul 1 - Teste nationale 2005 pentru clasa a VIII a Florica Banu i Marilena Stoica

Inscrie i deasupra spa iului subliniat in coloana A numarul din coloana B care corespunde ariei poligonului specificat in coloana A. R este raza cercului circumscris poligonului regulat specificat in coloana A

A  B

triunghi echilateral 1.

.patrat  2.

..hexagon regulat 3.

4.

Avantaje ale itemilor de tip asociere

Itemii de tip asociere pot fi considerati cei mai complecsi dintre itemii obiectivi, fiind practic constituiti dintr-o serie de itemi de alegere multipla. Posibilitatea ca elevul sa ghiceasca raspunsul corect este redusa prin elaborarea listei de raspunsuri, in asa fel incat sa includa si distractori (raspunsuri care nu trebuie asociate cu nici o premisa).

Sunt relativ usor de proiectat si de administrat, facand posibila abordarea unei cantitati mari de comportamente in timp scurt.

Pot viza deopotriva nivele taxonomice inferioare si superioare.

Dezavantaje ale itemilor de tip asociere

In majoritatea situatiilor evaluative, sunt utilizati pentru a aprecia acuratetea asimilarii informatiilor de tip factual, desi se preteaza si in evaluarea comportamentelor asociate intelegerii, aplicarii si chiar analizei.

Proiectarea itemilor poate fi dificila in cazul in care se vizeaza respectarea omogenitatii premiselor si a alternativelor de raspuns.

Exigente de proiectare a itemilor de asociere

Premisele si alternativele de raspuns trebuie sa acopere un spectru omogen (concepte similare), astfel incat elevul sa nu poata asocia elementele din cele doua liste prin excluderea raspunsurile atipice, fara legatura logica cu celelalte (Popham, 2003).

Se recomanda ca numarul premiselor sa fie inegal fata de raspunsurile propuse, cei mai multi recomandand un numar mai mare al raspunsurilor, astfel incat sa se evite relationarea elementelor prin excludere.

Raspunsurile trebuie prezentate in acord cu o regula calra: fie in ordine cronologica, fie in ordine alfabetica, astfel incat sa se evite dezorientarea elevului, dar si incercarea de a generaliza gresit o anumita maniera de prezentare a itemilor.

Descrierea sarcinii de rezolvat trebuie sa fie clara, precizandu-se logica asocierilor pe care trebuie sa le realizeze elevul.

Trebuie precizat de cate ori poate fi utilizat un raspuns in realizarea asocierilor (sau, dupa caz, de cate ori premisele pot fi utilizate in stabilirea relatiilor cu raspunsurile).

Numarul premiselor si a raspunsurilor trebuie sa fie rezonabil - in literatura romaneasca recomandarea este de 4-5 premise, respectiv 5-6 raspunsuri.

Se recomanda ca intreg corpul itemului sa fie plasat pe o singura pagina, pentru a nu genera confuzii sau omisiuni.

Bibliografie

Anastasi, A. (1976) Psychological testing, editia a IV-a, McMillan Poblishing Co., New York

Best, J. W. (1977) Research in education, Prentice-Hall, Inc, New Jersey - pp. 183-191

Crocker, L. Algina, J. (1986) Introduction to classical and modern test theory, Holt, Rinehart and Winston Inc., Orlando

Cucos, C. (2008) Teoria si metodologia evaluarii, Editura Polirom, Iasi

Downing, S. M., Haladyna, T. M (eds) (2006) Handbook of Test Development, Routledge, London

Evans, J.D. (1985) Invitation to psychological research, CBS College Publishing, New York - pp. 74-82, 232-254

Gall, M.D., Gall, J.P., Borg.W.R. (2007) Educational research: an introduction, 8th Edition, Pearson Education, Inc., Boston, pp.192-227

Karmel, L.J., Karmel, M.O. (1978) Measurement and evaluation in the schools, editia a II-a, McMillan Poblishing Co., New York

Mandrut, M. (2001) Tipologia itemilor, in: Stoica (coord.), Evaluarea curenta si examenele, Editura ProGnosis, Bucuresti, pp.65-85

Mason, E. J., Bramble, W. J. (1997) Research in Education and the Behavioral Sciences, Brown & Benchmark Publishers, Dubuque, USA

McMillan, James H. (1992) Educational Research. Fundamentals for the Consumer, HarperCollins Publishers Inc., New York - pp. 114-120

Moise, C. (2003) Teoria si practica evaluarii, in Psihologie. Curs pentru Invatamant la Distanta, Editura Universitatii "Al. I. Cuza", Iasi, pp. 234-324

Osterlind, S. J. (1998) Evaluation in Education and Human Services. Constructing test items: multiple-choice, constructed response, performance and other formats, 2nd edition, Kluwer Academic Publishers

Popham, W. J. (2003) Test better, teach better. The instructional role of assessment, Association for Supervision and Curriculum Development

Radu, I. T. (2000) Evaluarea in procesul didactic, E.D.P, Bucuresti, pp. 233-253

Stoica, A. (coord) (2001) Evaluarea curenta si examenele, Editura ProGnosis, Bucuresti