Calitatile testului docimologic

Calitatile testului docimologic

Pentru a putea aplica un test pedagogic este necesara verificarea calitatilor globale ale testului (Karmel si Karmel, 1978; Radu, 2000; Moise, 2003) - obiectivitate, aplicabilitate, fidelitate si validitate, precum si a calitatilor fiecarui item - dificultate si putere de discriminare.

Obiectivitatea unui test pedagogic/docimologic se refera la caracterul explicit si la claritatea itemilor, care sa permita obtinerea de scoruri comparabile in cazul unor evaluatori competenti . Aplicabilitatea se refera la adecvarea itemilor la continuturile vizate, la volumul de timp si resurse materiale necesar aplicarii care trebuie sa fie rezonabil, la claritatea modalitatii de calculare a scorurilor.

Fidelitatea si validitatea sunt adesea folosite in mod eronat ca sinonime, insa cele doua concepte au acceptiuni diferite - in timp ce fidelitatea se refera la consistenta sau stabilitatea unui test, validitatea indica masura in care un test masoara ceea ce si-a propus sa masoare. Un instrument de evaluare poate avea o fidelitate ridicata, fara a fi valid, insa un test valid are cu siguranta o fidelitate ridicata.

Fidelitatea se poate estima prin intermediul a patru modalitati diferite (Thomas, 1998; Gliner si Morgan, 2000):

Fidelitatea test-retest (coeficientul de stabilitate) presupune ca aplicarea instrumentului de evaluare acelorasi subiecti, in momente diferite, sa conduca la obtinerea unor rezultate comparabile. Evaluarea acestui tip de fidelitate poate conduce la erori provenite din familiarizarea subiectilor cu intrebarile, fiind posibil ca stabilitatea rezultatelor sa fie data de memorarea intrebarilor si a raspunsurilor, nu de calitatile instrumentului. De aceea, evaluatorul trebuie sa se asigure ca intervalul de timp intre cele doua aplicari este suficient de lung pentru a evita acest tip de eroare.

Fidelitatea prin forme alternative (coeficientul de echivalenta) presupune ca rezultatele subiectilor in urma aplicarii unui test sa fie comparabile cu cele obtinute de aceiasi subiecti in urma aplicarii unui test cu itemi similari. Estimarea acestui tip de fidelitate implica fie ca cercetatorul sa formuleze aceiasi itemi in forma diferita, fie sa schimbe ordinea itemilor in cadrul aceluiasi instrument.

Indicatorul statistic al coeficientului de stabilitate si al coeficientului de echivalenta este coeficientul de corelatie Pearson. Cele mai multe lucrari considera ca un coeficient de corelatie egal sau mai mare de 0,70 este suficient pentru a asigura cele doua tipuri de fidelitate. Anastasi (1976, p. 109) si Evans (1985, p. 79) mentioneaza insa valori ale coeficientului de corelatie cuprinse intre 0,80-0,90, pentru a putea avea certitudinea unei fidelitati ridicate.

Fidelitatea estimata prin consistenta interna sau omogenitatea a unui test se refera pe de o parte, la masura in care toti itemii relationeaza intre ei si, pe de alta parte, la masura in care fiecare item relationeaza cu rezultatul total obtinut subiecti. Au fost elaborate si sunt utilizate mai multe metode de calcul a coeficientului de consistenta interna, dintre care cele mai cunoscute sunt (Gliner si Morgan, 2000): metoda injumatatirii (split-half), metoda de calcul a coeficientului alpha Cronbach si metoda Kuder-Richardson.

Metoda injumatatirii se utilizeaza atunci cand nu exista o forma alternativa a instrumentului de evaluare sau nu s-a parcurs etapa de retest. Metoda presupune impartirea rezultatelor unui test in doua jumatati comparabile si obtinerea unui coeficient de corelatie a acestora. Impartirea se poate realiza fie strict numeric (daca avem un instrument cu 30 de intrebari, 15 sunt incluse in prima jumatate, 15 in a doua) - ceea ce nu conduce la erori daca itemii au fost ordonati in ordinea dificultatii; fie prin reunirea itemilor similari intr-o jumatate si a celor singulari in cealalta jumatate. Coeficientul de corelatie al celor doua jumatati de test este utilizat in calcularea coeficientului de consistenta interna, corectat prin formula Spearman-Brown (Anastasi, 1976, pp. 115-116; Gliner si Morgan, 2000, pp. 314-315).

Metoda Kuder-Richardson de calculare a consistentei interne estimeaza omogenitatea itemilor unui test. Omogenitatea inter-itemi poate fi afectata de doua tipuri de erori de varianta: esantionarea continutului (adica alegerea initiala a itemilor) si eterogenitatea domeniului comportamental la care se refera itemii. Cu cat domeniul comportamental surprins prin intermediul itemilor este mai omogen, cu atat creste consistenta inter-itemi. Daca cercetatorul este constient de faptul ca domeniul comportamental investigat este eterogen, eterogenitatea itemilor nu ar trebui sa fie considerata importanta, dar itemii descriind aceeasi dimensiune a domeniului comportamental trebuie sa fie omogeni. Cu alte cuvinte, consistenta inter-itemi pe dimensiunile surprinse de instrument trebuie sa fie ridicata. Pentru calcularea consistentei inter-itemi se utilizeaza formula Kuder-Richardson (Radu, 1993, p. 372; Gliner si Morgan, 2000, p. 315). Din perspectiva matematica, coeficientul Kuder-Richardson este o medie a coeficientilor de consistenta obtinuti prin injumatatire, calculati pentru toate procedurile de impartire in jumatati a itemilor. Daca itemii nu sunt foarte omogeni, coeficientul Kuder-Richardson va fi mai mic decat coeficientul de consistenta obtinut prin injumatatire.

Coeficientul Kuder-Richardson este potrivit pentru estimarea consistentei interne doar pentru acele instrumente care au un sistem de cotare al raspunsurilor de tipul corect-gresit sau "totul sau nimic". Instrumentele care contin intrebari cu alegere multipla nu se preteaza la un asemenea tip de analiza a consistentei interne.

Coeficientul alpha (α) Cronbach este utilizat foarte frecvent in cercetarea educationala si psihologica, pentru a estima consistenta interna a testului contin itemi cu alegere multipla (Evans, 1985). Cea mai frecventa eroare in interpretarea coeficientului alpha Cronbach este aceea ca se confunda consistenta interna cu validitatea de construct: desi este un bun estimator al fidelitatii unui instrument, acest coeficient nu garanteaza faptul ca instrumentul masoara o singura dimensiune comportamentala (Gliner si Morgan, 2000). Raportarea unui coeficient alpha Cronbach ridicat nu garanteaza validitatea de construct a unui instrument.

Fidelitatea inter-evaluatori se refera la concordanta intre evaluarile realizate de doi sau mai multi cercetatori care aplica acelasi instrument acelorasi subiecti. Evaluatorii pot fi alesi aleator, dar exista si recomandarea de a implica experti sau de a utiliza in acelasi timp experti si evaluatori alesi aleator. In cazul in care natura problemei si a instrumentului de evaluare permit estimarea acestui tip de fidelitate, se poate calcula indicele mediu de corelatie intraclasa (Gliner si Morgan, 2000).

Validitatea unui test se refera la masura in care acesta surprinde ceea ce se presupune ca trebuie sa masoare. In cazul unui test, se pot estima mai multe tipuri de validitate (Anastasi, 1976; Evans, 1985; Havarneanu, 2000; Stan, 2002):

Validitatea de continut reflecta masura in care itemii unui test acopera problema de studiat. Este considerata adesea o valoare subiectiva (Stan, 2002) deoarece presupune ca unul sau mai multi experti sa evalueze masura in care itemii contribuie la cunoasterea fenomenului studiat. Exista cel putin doua modalitati de utilizare a metodei expertilor in evaluarea validitatii de continut: expertilor li se poate cere sa judece masura in care itemii instrumentului surprind fenomenul sau trasatura investigata (Evans, 1985) si/sau li se poate solicita sa formuleze un set de itemi care sa surprinda fenomenul sau trasatura investigata (Stan, 2002).

Desi se considera ca acest tip de validitate nu se poate estima pe baza unor procedee statistice care sa creasca obiectivitatea judecatilor, lucrarile recente (Stan, 2002, pp. 162-163) readuc in discutie formule de calcul a unui coeficient de validitate de continut:

- CVR = ^{Ne - N/2} unde N este numarul total de experti, iar N_e numarul de experti care considera

N/2 testul, respectiv itemul ca fiind reprezentativ.

Acest coeficient de validitate poate avea valori cuprinse intre -1 si +1. Cu cat valoarea sa este mai mare, cu atat validitatea de continut este mai ridicata.

- Se poate calcula un coeficient de concordanta CC = 1 - ^s2int

s²_max

unde s²_int   este varianta intre evaluarile expertilor, iar s²_max varianta maxima posibila intre evaluarile expertilor

- In cazul in care se cere mai multor experti sa construiasca seturi de itemi care sa masoare acelasi fenomen sau trasatura, se pot utiliza pentru verificari statistice coeficientul Kendall, indicele Hambleton si coeficientul K al lui Cohen.

Validitatea criteriala (de criteriu) presupune o concordanta ridicata intre rezultatele subiectilor in urma aplicarii unui test si un criteriu. Cele doua forme ale validitatii criteriale sunt validitatea concurentiala si validitatea predictiva (Gliner si Morgan, 2000; Stan, 2002, Gall, Gall si Borg, 2007).

Validitatea concurentiala presupune compararea rezultatelor intre instrumentul de evaluare si criteriu sau un alt instrument (al carui validitate a fost anterior determinata si este ridicata). In acest caz, coeficientul de validitate exprima corelatia intre instrument si criteriu.

Validitatea predictiva surprinde relatia intre valorile obtinute prin aplicarea instrumentului si criteriu, in conditiile in care masurarea criteriului este realizata ulterior, deci puterea instrumentului de a anticipa comportamente, fenomene viitoare. In acest caz, coeficientul de validitate exprima corelatia intre un predictor (valorile unui test) si valorile criteriului. Pentru evaluarea coeficientului de validitate se pot utiliza coeficientul de regresie si punctajele critice multiple (cut-offs) (Crocker si Algina, 1986; Stan, 2002, pp. 182-183).

Validitatea criteriala, in ambele sale forme, este influentata de natura criteriului ales si de caracteristicile esantionului. De aceea, raportarea coeficientilor de validitate pentru un test trebuie insotita de specificarea si descrierea clara a criteriului si a esantionului pe care s-a realizat evaluarea.

Validitatea de construct sau conceptuala se refera la cat de bine este transpus intr-un instrument un concept (o competenta, o caracteristica etc.). Evaluarea validitatii de construct presupune atat un demers teoretic, cat si un demers empiric: parcurgerea bibliografiei de specialitate ce cuprinde date experimentale anterioare cu privire la acelasi construct/concept si claritatea rationamentelor ipotetico-deductive sunt la fel de importante ca procedurile bazate pe date empirice.

Cele mai utilizate procedurile de evaluare a validitatii de construct bazate pe analiza de date empirice sunt (Anastasi, 1976; Crocker si Algina, 1986; Stan, 2002):

- corelatia dintre rezultatele obtinute prin aplicarea unui test si cele provenite din utilizarea altor teste sau chestionare care masoara acelasi construct;

- corelatia dintre rezultatele obtinute prin aplicarea unui instrument si cele obtinute din aplicarea unor instrumente care masoara caracteristici care relationeaza cu ceaa studiata;

- analiza factoriala;

- studierea efectului unor variabile experimentale asupra scorurilor obtinute de subiecti;

- Multitrait-multimethod Matrix - o metoda propusa de D.T. Campbell si D.W.Fiske (apud Anastasi, 1976) prin care se pot evalua validitatea convergenta si discriminatorie. Validitatea convergenta estimeaza masura in care doua teste masoara acelasi construct, iar validitatea discriminatorie se refera la relatia non-corelationala cu teste care masoara alte constructe decat cel studiat. Matricea centralizatoare include corelatii intre teste care masoara aceeasi trasatura, corelatii intre teste care masoara trasaturi diferite si corelatii intre acestea din urma in cazul utilizarii unor metode diferite de masurare (vezi pentru exemple Anastasi, 1976, p. 157 si Stan, 2002, p. 192).

Pentru a aprecia validitatea globala a unui test este necesara atat specificarea mai multor coeficienti de fidelitate, cat si prezentarea unor consideratii legate de toate tipurile de validitate.

Coeficientul de dificultate al unui item (Anastasi, 1976; Karmel si Karmel, 1978; Radu, 2000; Moise 2003) se calculeaza ca procent de subiecti care rezolva corect un item. Itemii prea usor sau prea dificil de rezolvat nu ofera informatii relevante despre subiecti si sunt eliminati in etapa de revizuire a testului. Din punct de vedere strict statistic, itemul "ideal" ar fi cel care este rezolvat corect de 50% dintre subiecti. In general, se accepta un coeficient de dificultate cuprins intre 25% si 75%.

Coeficientul de discriminare (Anastasi, 1976; Karmel si Karmel, 1978; Radu, 2000; Moise, 2003) indica masura in care un item face diferenta intre subiectii cu performante inalte si cei cu performante scazute. Se poate calcula ca diferenta intre procentul de subiecti care au rezolvat corect itemul analizat din cincimea superioara a clasamentului, realizat pe baza scorurilor totale la test (primii 20% dintre subiecti) si procentul de subiecti care a rezolvat corect itemul analizat din cincimea inferioara a clasamentului (ultimii 20% dintre subiecti). Valoarea minima acceptata a coeficientului de discriminare este de 25%.

Bibliografie:

Anastasi, A. (1976) Psychological testing, editia a IV-a, McMillan Publishing Co., New York

Best, J. W. (1977) Research in education, Prentice-Hall, Inc, New Jersey - pp. 183-191

Crocker, L. Algina, J. (1986) Introduction to classical and modern test theory, Holt, Rinehart and Winston Inc., Orlando

Evans, J.D. (1985) Invitation to psychological research, CBS College Publishing, New York - pp. 74-82, 232-254

Gall, M.D., Gall, J.P., Borg.W.R. (2007) Educational research: an introduction, 8th Edition, Pearson Education, Inc., Boston, pp.192-227

Gliner, J.A., Morgan G. A. (2000) Research Methods in Applied Settings: An Integrated Approach to Design and Analysis,Lawrence Erlbaum Associates, New Jersey

Havarneanu, C. (2000) Cunoasterea psihologica a persoanei. Posibilitati de utilizare a computerului in psihologia aplicata, Editura Polirom, Iasi

Karmel, L.J., Karmel, M.O. (1978) Measurement and evaluation in the schools, editia a II-a, McMillan Poblishing Co., New York

Mason, E. J., Bramble, W. J. (1997) Research in Education and the Behavioral Sciences, Brown & Benchmark Publishers, Dubuque, USA

McMillan, James H. (1992) Educational Research. Fundamentals for the Consumer, HarperCollins Publishers Inc., New York - pp. 114-120

Moise, C. (2003) Teoria si practica evaluarii, in Psihologie. Curs pentru Invatamant la Distanta, Editura Universitatii "Al. I. Cuza", Iasi, pp. 234-324

Radu, I. (1993) Principii metodologice in elaborarea si utilizarea probelor psihologice, in Radu, I. (coord.), Metodologie psihologica si analiza datelor, Editura Sincron, Cluj, pp. 357-381

Radu, I. T. (2000) Evaluarea in procesul didactic, E.D.P, Bucuresti, pp. 233-253

Stan, A. (2002) Testul psihologic. Evolutie, constructie, aplicatii, Editura Polirom, Iasi

Stoica, A. (coord) (2001), Evaluarea curenta si examenele, Editura ProGnosis, Bucuresti

Thomas, R.M. (1998) Conducting Educational Research. A comparative view, Bergin & Garvey Westport, Connecticut- pp. 149-161

De Landsheere, V., De Landsheere, G. (1979) Definirea obiectivelor educatiei, EDP, Bucuresti

Ausubel, D., Robinson, Fl. (1981) Invatarea in scoala. O introducere in psihologia pedagogica, E.D.P., Bucuresti

Schreerens, J., Glas, C., Thomas, S. M. (2003) Educational evaluation, assessment and monitoring. A systemic approach, Swets & Zeitlinger Publishers, Lisse,The Netherlands