CONSTRUIREA SI EXPERIMENTAREA TESTELOR

1. Cerinte: pasii standard in construirea unui test psihologic

2. Analiza de item; teoria privind raspunsul la item

1. Cerinte: pasii standard in construirea unui test psihologic

Stabilirea unei necesitati: luarea in considerare a cerintelor formale si informale pentru test. Trebuie sa realizam un fel de ancheta sociala pentru a vedea daca aceasta necesitate este reala sau tine de imaginarul nostru. Trebuie sa scanam disponibilitatea pietei, sa vedem daca exista ceva similar (pentru a nu repeta).

Definirea obiectivelor si parametrilor testelor: stabilim scopul testului (cine este testat si de ce a fost ales acest test), clarificam modul in care informatia utilizata de test va fi utila si celui care da testul, si beneficiarului. Trebuie sa luam in considerare tipul de format al itemilor si tipul de format al raspunsurilor, dar si numarul de itemi ce vor fi inclusi.

Selectarea unui grup de experti in domeniul respectiv: se discuta din nou obiectivele, scopurile si parametrii testului si se determina o prima macheta a testului.

Scrierea itemilor: se utilizeaza experti din domeniul testului sau specialisti din aria domeniului respectiv pentru a scrie itemii. Dupa ce au fost scrisi, itemii trebuie sa fie revizuisi (din punctul de vedere al continutului) de cel putin o persoana sau de catre o echipa care nu a fost implicata in scrierea lor.

Faza de teren. Itemii sunt supusi realitatii. Un prim esantion de itemi este utilizat pentru a fi testati subiecti reali, dintr-un anumit grup tinta (grup realizat in functie de varsta, sex, pregatire profesionala, etc.). In urma testarii, se va calcula gradul de dificultate si de discriminare al itemilor (aceasta reprezinta analiza de itemi).

Revizuirea itemilor, care se produce in urma analizei de itemi. Se verifica daca exista o anumita incarcatura nedorita de itemi sau prejudecati (de exemplu, sexuale sau legate de minoritati). Sunt eliminati itemii care pot sa fie incorecti, nedrepti sau pot sa lezeze anumite grupuri de indivizi.

Alcatuirea formei finale a testului. Se verifica adecvarea grilei de scorare, mergandu-se pana la subtilitati in ceea ce priveste scorarea raspunsurilor. Se intampla foarte multe accidente in faza finala, astfel ca este necesara interventia unui 'cap limpede' (cineva care este scos din pasii experimentarii si care verifica tot, inclusiv forma finala; de obicei, este cineva din afara). Se reverifica itemii si grila de scorare.

Constituirea normelor si calcularea finalitatii si validitatii

1. Datele tehnice ale testului sunt verificate. Se fac procedurile de esantionare sau de constituire a loturilor de experimentare.

Administrarea si scorarea formei finale a testului.

Se calculeaza finalitatea si itemii de finalitate.

Construirea normelor adecvate de interpretare.

2. Analiza de item

2.1. Analiza gradului de dificultate si a capacitatii de discriminare a itemului

Analiza de itemi are ca obiectiv de baza descifrarea mecanismelor cognitive aplicate de subiecti pentru formularea raspunsurilor la itemi si verificarea calitatilor itemilor ca instrumente de masura sau de predictie. Pe baza analizei de itemi se obtin informatiile care permit selectarea itemilor care intra in componenta testului.

Itemii pot fi analizati dintr-o dubla perspectiva - cantitativa si calitativa.

Analiza cantitativa se refera la proprietatile statistice ale itemilor si este focalizata in principal pe clarificarea problemelor privind dificultatea si capacitatea de discriminare a itemilor.

Analiza calitativa se refera in principal la aspecte de continut si de forma incluzand problema evaluarii eficientei procedurilor de redactare si a validarii de continut.

Analiza itemilor poate fi rezumata prin urmatorul algoritm:

calculul indicelui de dificultate pentru toti itemi si eliminarea celor care sunt rezolvati de toti subiectii si celor nerezolvati de nici un subiect;

depistarea cauzelor pentru care unii indici de dificultate sunt foarte mari sau foarte mici si eliminarea itemilor cu greseli;

in situatia itemilor cu raspunsuri la alegere, se analizeaza raspunsurile incorecte si se elimina aceia in care unele raspunsuri gresite au fost alese de foarte multi sau foarte putini subiecti;

aplicarea uneia dintre procedurile analizei de itemi in functie de conditiile pe care trebuie sa le indeplineasca testul ce se construieste, respectiv:

daca testul trebuie sa discrimineze intre doua grupe contrastante, respectiv sa permita scoruri care difera mult de la o grupa la opusul ei, se va calcula pentru fiecare item indicele de discriminare, eliminandu-se itemii necorespunzatori

daca testul trebuie sa se comporte intr-o maniera prestabilita fata de un anume criteriu, se vor elimina itemii necorespunzatori;

se vor elimina itemii cu indicele de dificultate necorespunzator scopului pe care urmeaza sa-l indeplineasca testul. In principiu se vor elimina cei foarte usori si foarte dificili. Daca cerinta este ca testul sa identifice pe cei care prezinta nivele foarte scazute si foarte ridicate pentru o anume trasatura sau facultate, se vor retine doar aceste tipuri de itemi;

se va calcula coeficientul de corelatie intre scorurile testului si scorurile itemului si se vor elimina itemii care prezinta corelatii nesemnificative sau negative.

In continuarea construirii testului pe baza itemilor astfel selectati se procedeaza la studierea caracteristicilor psihometrice (fidelitate, validitate, dificultate, putere de discriminare), aspectele legate de lungimea testului, tipuri de itemi din care este compus, timpul de rezolvare a testului (inclusiv variante privind standardizarea timpului), costurile administrarii testului.

In majoritatea situatiilor cerute de scopul testarii, dificultatea itemului e definita in functie de procentul de persoane care raspunde corect la el. In procesul de construire a unui test, motivul principal al analizei dificultatii este de a alege itemi care au un procent de dificultate adecvat, in asa fel incat testul sa nu constituie nici o dificultate de netrecut pentru majoritatea subiectilor, nici sa nu fie rezolvabil de marea lor majoritate.

a.     Pentru diferite loturi de subiecti, cu caracteristici diferite privind de exemplu varsta, nivelul de pregatire academica, tipul de pregatire, mediul de provenienta etc., aceeasi itemi pot conduce la diferite procente sau ponderi de subiecti care raspund corect.

b.     Majoritatea testelor sunt construite cu itemi avand grade de dificultate diferite astfel se pune problema asigurarii unui nivel de dificultate optim si a posibilitatii de a compensa inter-itemi gradul de dificultate.

c.     Nivelul de dificultate recomandabil este .50 (50% reusita). Cu cat un item se apropie de 0% sau de 100% , cu atat este ineficient in diferentierea subiectilor. Itemul trebuie sa fie capabil sa diferentieze intre toti cei care il reusesc si cei care nu il reusesc pentru a avea valoare de informatie diferentiala.

De exemplu, pentru gradul de dificultate de 0.5 (50%):

Sa presupunem ca din 100 de persoane, 50 reusesc si 50 nu reusesc sa rezolve itemul. Deci itemul ne va da posibilitatea sa diferentiem intre fiecare dintre cei care l-au reusit si fiecare dintre cei care au esuat. Deci avem astfel 50 x 50 = 2.500 perechi de comparatie, sau biti de informatie diferentiala. Un item reusit de .70 (70%) va favoriza 70 x 30 = 2.100 biti informationali. Unul reusit de .9 (90%) furnizeaza deci 90 x 10 = 900, iar cel reusit de 100%, 100 x 0 = 0. Acelasi lucru este valabil si pentru itemi mai dificili, pe care ii reusesc sub 50% dintre subiecti.

d.     Itemii din cadrul unui test tind sa intercoreleze. Cu cat este mai omogen testul, cu atat gradul de intercorelare este mai mare. In situatia extrema in care toti itemii ar fi perfect intercorelati si toti ar avea gradul de dificultate .50, aceleasi 50 de persoane din 100 vor rezolva fiecare dintre itemi. Deci jumatate dintre subiecti vor avea scoruri perfecte, iar cealalta jumatate, vor avea un rezultat nul. Deci, datorita intercorelarii dintre itemii testului cel mai bine este sa fie selectati itemi cu nivele de dificultate diferite a caror medie a dificultatii sa fie .50. Cu cat e mai mare nivelul de intercorelare dintre itemi, cu atat mai larga trebuie sa fie gama de grade de dificultate a itemilor selectati.

In cazul scalelor de interval, procentul de persoane care reuseste un item exprima dificultatea itemilor la nivelul scalei ordinale., ceea ce inseamna ca indica corect rangul si dificultatea relativa a itemilor.

De exemplu, daca avem 3 itemi care sunt rezolvati respectiv de 30%, 20% si 10% dintre subiectii lotului, putem conchide ca primul item este cel mai usor, iar itemul al treilea cel mai dificil, gradul de dificultate crescand de la primul la al treilea. Dar, pentru diferente de procentaje egale, nu putem aprecia daca exista si diferente egale in gradul de dificultate intre cei trei itemi. Acest lucru ar fi posibil doar in cazul unei distributii rectangulare, unde cazurile ar fi uniform distribuite pe tot sirul. Scorurile de tip percentil nu reprezinta unitati egale, ele difera in marime de la centru la extremele distributiei.

Daca avem o distributie normala a rezultatelor pentru trasatura respectiva, nivelul de dificultate al itemului poate fi exprimat in termenii unei scale unitati de interval egale comparativ cu tabelul de frecvente al curbei normale. In acest caz avem informatia ca 34% din populatie intra in zona cuprinsa intre medie si - sau + 1 sigma.

Astfel ca un item care are nivelul de dificultate .84 (rezolvat de 80% dintre subiecti), va include jumatatea superioara (50%) plus 30% din cazuri din jumatatea inferioara (50 +30 = 80). Deci itemul cade 1 sigma sub medie. Un item reusit de 16% dintre subiecti, va cadea la o sigma peste medie (peste acest punct se afla 16% dintre cazuri, respectiv 50 - 34 (o sigma) =16. Un item reusit de exact 50% dintre subiecti, cade pe medie si va avea valoarea 0 pe aceasta scala.

In practica, datorita faptului ca dificultatile itemilor exprimate in termenii distantelor pentru o curba normala include valori pozitive si negative, Serviciul american de testare educationala a propus urmatoare ecuatie de convertire:

D (delta) = 13 + 4z

Constantele 13 si 4 au fost alese arbitrar pentru a permite o scala care sa elimine valorile negative. Z indica numarul de deviatii standard de la medie (sigme).   

De exemplu, un item reusit de aproximativ 100% subiecti, va cadea la o distanta de 3 sigme de medie, deci va avea D =13 + 4x (-3) = 1.

La cealalta extrema, un item cu un procent de reusita sub 1, va cadea la + 3 sigme si va avea D = 13 + 4x (3) = 25. Un item care cade pe medie, are D = 13 + 4x (0) = 13. Deci toti itemii vor cadea la scale D intre 1 si 25, iar dificultatea medie va fi redata prin nivelul 13.

Analiza capacitatii de discriminare a itemilor

Discriminarea itemilor se refera la gradul in care un item diferentiaza corect intre subiecti in ceea ce priveste comportamentul destinat sa-l masoare. In literatura de specialitate apar peste 50 de indicatori de discriminare care pot fi utilizati in construirea diferitelor tipuri de teste, indicatori care, de regula ofera rezultate relativ asemanatoare.

O metoda utila pentru grupe in general mici cuprinde urmatoarea procedura.

Sunt pretestati subiectii unui lot restrans (ex. 60 de persoane)

In functie de rezultate, subiectii sunt grupati in trei clase. 20 cu scorurile cele mai inalte (clasa de sus, "U" de la upper), 20 cu scorurile cele mai scazute (clasa de jos, "L", de la lower), si 20 cu scoruri intermediare (clasa medie, "M", de la middle).

Pe cele 3 clase se vor verifica itemii testului astfel:

Item    U M L Dificultatea Discriminarea

U+M+L U-L

1 15 9 7 31 8

2 20 20 16 56* 4

3 19 18 9 46 10

4 10 11 16 37 -6*

5 11 13 11 35 0*

6 16 14 9 39 7

7 5 0 0 5* 5

etc.

Dificultatea itemului reprezinta suma de reusite la cele trei clase de subiecti iar discriminarea este data de diferenta dintre grupele extreme.

In aceste conditii putem vedea ca exista 4 itemi care prezinta probleme (*) fie din perspectiva dificultatii, itemii 2 si 7, fie a discriminarii, itemii 4 si 5. Daca itemul 2 are o dificultate prea mica, 7 este prea dificil, deci trebuiesc exclusi. Itemii 4 si 5 au dificultate fie negativa, fie nula, deci vor fi exclusi. De regula, in situatia claselor de subiecti care au aceeasi dimensiune, itemii cu valoare de discriminare scazuta sunt cei de la 3 puncte in jos.

Indexul de discriminare

Cand exprimam in procente numarul de subiecti care reusesc la itemii cuprinsi intr-un nou test, o diferenta de 2% reprezinta indexul de discriminare, indiferent de dimensiunea grupelor. Acest index de discriminare este denumit 'Upper-lower discrimination', prescurtat ca "U-L", "ULI", sau "ULD" sau pur si simplu "D".

De exemplu, calcului D pornind de la datele anterioare se prezinta astfel:

Item Procentaj de reusita Index de discriminare

Clasa "U" Clasa "L" (diferenta)

2 100 80 20

50 80 -30

55 55 0

80 45 35

25 0 25

etc.

D poate avea o valoare cuprinsa intre +100 si -100.

Daca toti subiectii clasei "U" reusesc la item si nici unul dintre subiectii clasei "L" nu reuseste, D = 100.

Daca nici un subiect din "U" nu reuseste si toti cei din "L" reusesc, avem valoarea lui D = 0.

Pentru unii dintre indicii de discriminare, valorile lui "D" nu sunt independente de dificultatea itemului, dar sunt influentate in directia nivelului de dificultate intermediara. Mai jos, tabelul indica maximul posibil al valorii lui "D" in functie de diferite procente de raspunsuri corecte. Daca fie 100% fie 0% din lot reusesc la un item, nu apare nici o diferenta intre clasele de subiecti, deci "D" este 0. Daca 50% reusesc un item, este posibil ca toti cei din clasa "U" sa-l treaca, si nimeni din clasa "l", iar "D" va fi 100 - 0 = 100. Daca 70% reusesc, maximul valorii pe care o poate lua "D" va fi 60 pentru ca "U" 50/50= 100% si "L" 20/50 = 40%. "D" va fi 100 - 40 = 60. Pentru majoritatea scopurilor de testare, sunt preferabili itemii cu dificultatea 50%. Indicii de discriminare care favorizeaza acest nivel de dificultate vor fi adecvati pentru selectie.

Relatia dintre valoarea maxima a lui "D" si dificultatea itemilor:

Procentul de reusita la item Valoarea maxima a lui D

100

2.2. Teoria raspunsului la item T.R.I

Teoria raspunsului la item a fost denumita si teoria trasaturii latente si teoria curbei caracteristice (TCC). Aspectul fundamental al acestei abordari este faptul ca performanta la item este legata de cantitatea estimata de "trasatura latenta" a celui care raspunde, reprezentata prin T (theta). Denumirea de trasatura latenta se refera la un construct statistic (ceea ce nu implica automat ca ar exista o entitate psihologica sau fiziologica corespunzatoare, cu o existenta independenta). De exemplu, in testele cognitive, trasatura latenta este reprezentata de obicei de abilitatea masurata de test iar scorul total la test este considerat adesea ca reprezentand o estimare initiala a acestei abilitati.

Diferite modele T.R.I. utilizeaza diferite functii matematice, bazate pe seturi de presupuneri diferite dar rezultatele obtinute prin aceste modele sunt substantial asemanatoare.

T.R.I. are la baza urmatoarele trei postulate:

I.            comportamentul unui subiect la un item al unui test poate fi prezisa cu ajutorul unui set de factori, denumiti trasaturi latente (orice construct inobservabil, presupus continuu, despre care o teorie psihologica afirma ca deosebeste personale intre ele poate fi privit ca factor, iar fiecarui factor i se asociaza o variabila cu valori numerice intre - infinit si + infinit, denumita variabila latenta);

II.         putem afirma existenta unui factor doar dupa ce se observa ca raspunsurile la itemii prin care se doreste masurarea constructului, covariaza;

III.       relatia dintre performanta la item a subiectilor si fiecare dintre trasaturile care au legatura cu performanta poate fi descrisa prin cate o functie crescatoare denumita functie caracteristica a itemului sau curba caracteristica a itemului. Functia indica cum depinde probabilitatea de a raspunde corect la item de nivelul trasaturii.

O trasatura nu poate fi nici observata, nici masurata direct. Evaluarea ei cantitativa este indirecta, prin intermediul unor variabile observabile (de ex., raspunsul la itemi unui test) despre care se presupune ca reprezinta adecvat variabila latenta.

Operarea cu variabile latente presupune urmatoarea procedura in trei etape:

I.            Definirea variabilei latente in termeni operationali sau construirea variabilei. Acest pas cere identificarea acelor diferente individuale care fac posibila reprezentarea fiecarui individ printr-un punct pe axa reala (variabila unidimensionala). Daca reprezentarea cere utilizarea unui spatiu cu mai multe dimensiuni, variabila este multidimensionala.

II.         Definirea situatiilor controlabile (crearea cadrului de observatii). Situatiile sunt reprezentate de itemii testului iar rezultatul observatiilor este exprimat numeric prin scorul la test.

III.       Alegerea modelului matematic pentru obtinerea variabilei latente pe baza valorilor variabilelor . Modelul matematic ales trebuie sa transforme o multime discreta in multimea numerelor reale. Variabilele latente apar in doua tipuri de modele prin care sunt reprezentate legaturile dintre variabilele psihologice: - modele care masoara cauzele unde se presupune ca variabila latenta este cauza variatiilor variabilelor observate; - modele care masoara efectele care presupun ca variabila latenta este cauzata de variabilele observate.

Daca se utilizeaza mai multe instrumente de masura (variabile observate) pentru investigarea aceleiasi variabile latente, se presupune ca in spatele covariatiilor existente intre variabilele observate stau relatiile dintre ele si variabila latenta pe care o masoara. Acest fapt sta la baza utilizari analizei factoriale ca metoda care permite determinarea valorilor unuia sau mai multor factori (variabile latente) pornind de la mai multe variabile observate (teste).

In situatia itemilor dihotomici putem ilustra consecinta T.R.I. presupunand de ex. ca toti itemii testului masoara aceeasi variabila latenta unidimensionala. T.R.I. impune in aceasta situatie ipoteza unidimensionalitatii spatiului variabilelor latente, respectiv faptul ca nu exista o alta variabila latenta, pe langa cea specificata, care sa influenteze scorurile itemilor.

Aceasta ipoteza asigura indeplinirea conditiei de independenta locala a itemilor, care cere ca modul in care o persoana raspunde la un item sa nu fie influentat de felul cum a raspuns la ceilalti itemi. Conform T.R.I., se va construi, pentru fiecare item a testului, functia caracteristica a itemului care leaga valorile variabilei latente masurate de item cu scorurile obtinute la test, respectiv P(y): R - > [0,1]. Probabilitatea ca o persoana avand nivelul variabilei latente masurate de item egala cu y sa raspunda corect la item, pentru orice valoare a lui y apartinand realului.

Cu ajutorul acestei functii se pot aprecia calitatile itemului, respectiv dificultatea si puterea de discriminare iar graficul acestei functii vizualizeaza comportarea itemului ca instrument de masura. T.R.I. introduce ipoteza ca functia P este crescatoare. Daca itemul este un instrument bun de masura, un subiect care are un nivel mai inalt al variabilei latente va avea sanse mai mari de a rezolva corect itemul decat cel care are un nivel mai scazut.

Scopul teoriei raspunsului la item este de a elabora metode de estimare a valorii variabilei latente la subiectii testati si metode de estimare a caracteristicilor itemilor testului, pe baza raspunsurilor date de subiecti la itemi.