Matricea de specificatie si rolul sau in proiectarea instrumentelor de evaluare. Calitatile testului docimologic.

1. Matricea de specificatie si rolul sau in proiectarea instrumentelor de evaluare

Matricea (tabelul) de specificatii este prezentata in literatura pedagogica in stransa conexiune cu filosofia evaluarii prin raportare la obiective (engl. objective-based evaluation), consituind o veritabila punte de legatura intre obiective, continuturi si evaluare, in calitate de componente ale curriculumului (Mason si Bramble, 1997; Gall, Gall si Borg, 2007). Demersul de elaborare a matricei de specificatii constituie una dintre etapele proiectarii testului docimologic, care urmeaza celei in care se stabileste tipul de test vizat (vezi si Unitatea tematica 4 in care esre prezentata proiectarea testului docimologic).

Fara a intra in detalii inutile, prezentam succint linia de reflectie care a condus la ideea necesitatii elaborarii matricei de specificatie, inainte de proiectarea itemilor. Demersul isi are orginea in asa numita abordare Tyler-Bloom (Mason si Bramble, 1997; Gall, Gall si Borg, 2007) a curriculumului care presupune selectia si organizarea continuturilor in acord cu un set de obiective de nivel general, care sa orienteze activitatea conceptorilor de planuri de invatamant, programe scolare, manuale alternative etc. si care sa fie reflectate in metodele si instrumentele de evaluare. Obiectivele de nivel general care orienteaza activitatea de selectie si organizare a continuturilor nu pot constitui repere directe de masurare a performantelor elevilor, de unde si necesitatea exprimarii acestora in termeni de comportamente observabile si masurabile (vezi contributia lui B. Bloom in aceasta directie). Mare parte din evaluarea tinerilor americani se realizeaza si in prezent dupa aceste principii, respectand metodologia dezvoltata sub coordonarea lui R. Tyler in anii 1960 (The National Assessment of Educational Progress). Analistii proceselor de evaluare din statele americane apreciaza ca acesta directie in proiectarea probelor de evaluare a atins cote fara precedent odata cu actul legislativ adoptat in 2002 care orienteaza invatamantul american - Nici un copil neglijat (No Child Left Behind Act).

Nu sugeram ca modelul de proiectare a probelor de evaluare a fost preluat necritic in contextul regandirii evaluarilor si examenelor nationale, ci incercam sa argumentam in maniera credibila valorificarea acestei pozitii in spatiul romanesc, avand in vedere centrarea Curricululum-ului National romanesc pe obiective. Dincolo de argumentele solide care pot fundamenta utilizarea matricei de specificatii in proiectarea testelor docimologice, ca element derivat din contributiile lui R. Tyler si B. Bloom la clarificarea relatiilor dintre componentele curriculumului, nu putem ignora inconsistenta prezentarii sale in lucrarile romanesti de teoria evaluarii. Utilizarea lor poate fi subminata de senzatia (inclusiv a specialistilor din domeniu care nu abordeaza evaluarea, ca domeniu pedagogic, in perspectiva curriculara) ca matricea de specificatii este o "inovatie" a SNEE, prin care se "argumenteaza" structura actuala a evaluarilor si a examenelor nationale. Mai mult, chiar prezentarea matricei de specificatii in ghidurile SNEE (vezi Stoica, coord., 2001) este rupta de contextul in care a fost propusa, de unde si perceptia eronata ca ea constituie doar un articificiu necesar pentru a justifica o maniera sau alta de a evalua.

Matricea de specificatii consta intr-un tabel cu doua intrari care serveste la proiectarea si organizarea itemilor dintr-un test docimologic, in care sunt precizate, pe de o parte, continuturile care vor fi vizate, si, pe de alta parte, nivelele taxonomice la care se plaseaza obiectivele de evaluare (Mason si Bramble, 1997; Schreerens, Glas si Thomas, 2003; Gall, Gall si Borg, 2007; Stoica, 2001). Cateva precizari se impun in legatura cu obiectivele de evaluare, insuficient discutate in literatura pedagogica romaneasca. Ele nu se suprapun perfect peste obiectivele cadru si de referinta; in fond curriculum recomandat, curriculum predat si curriculum evaluat nu se suprapun perfect! Desi practicienii pot considera mentionarea acestora un artificiu inutil, ea este cruciala in proiectarea unor teste docimologice (mai ales a celor sumative) de calitate, in conditiile in care se opereaza decupaje in obiectivele si continuturile avute in vedere.

Liniile matricei de specificatii includ elementele de continut vizate, iar coloanele se refera la nivelele taxonomice le care vor fi masurate performantele elevilor in raport cu aceste continuturi. Cea mai utilizata taxonomie pentru domeniul cognitiv este cea a lui B. S. Bloom, insa exista suficiente alternative prezentate detaliat, inclusiv cu exemple in lucrari traduse in limba romana (vezi lucrarile lui V. si G. De Landsheere, 1979, Definirea obiectivelor educatiei, EDP, Bucuresti si Ausubel, D., Robinson, Fl., 1981, Invatarea in scoala. O introducere in psihologia pedagogica, E.D.P., Bucuresti). Unii pedagogi recomanda utilizarea combinata a taxonomiilor, pentru a pune in evidenta o gama larga de capacitati, abilitati ale elevului prin aceeasi proba de evaluare (Stoica, 2001; Schreerens, Gals si Thomas, 2003).

Celule tabelui, aflate la intersectia dintre elementele de continut si nivelele taxonomice pentru nivelul cognitiv cuprind procentele de itemi (din totalul itemilor consacrati intregului test) ce vor fi folositi in proiectarea testului. Daca testul va include 20 itemi; inseamna ca 5% din total (identificati-l in tabel), adica 2 itemi, vor fi alocati celulei care vizeaza terminologia de recunoscut sau de redat din memorie (celula rezultata din intersectarea continuturilor constand din terminologie, cu nivelul taxonomic achizitia informatiei); 30%, adica 12 itemi, pentru celula vizand rezolvarea de probleme, la nivelul taxonomic analiza (rezultata din intretaierea randului continuturilor constand din probleme cu coloana reprezentand analiza) etc.

Pentru a usura activitatea de elaborare a matricei de specificatii se poate opta pentru trecerea in fiecare celula a numarului de itemi care vor fi proiectati (in exemplul de mai sus, numarul de itemi este notat in paranteza). Atat procentele, cat si numerele e insumeaza pe verticala si pe orizontala.

In functie de scopul si tipul testului care trebuie proiectat, se poate elabora o matrice de specificatii generala sau detaliata (Stoica, 2001).

Matricea de specificatii generala este utila in proiectarea testelor sumative care vizeaza continuturi largi si obiective cu nivele de complexitate ridicate. Ele specifica unitati mari de continut si nivele taxonomice generale.

Exemplu

Pentru exemplificare, vom incerca sa reconstituim (cu riscul de a gresi) matricea de specificatii a testului de Limba si literatura romana, care a constituit teza cu subiect unic la aceasta disciplina in semestrul I al anului scolar 2007-2008. Acest exercitiu este orientat de detaliile privind matricea de specificatii, asa cum au fost ele prezentate de catre Centrul National pentru Curriculum si Evaluare din Invatamantul Preuniversitar.

Precizam ca numarul total al itemilor inclusi in test este 10, iar matricea de mai jos include numarul de itemi corespunzator.

Iata si detaliile privind matricea de specificatie furnizate de Centrul National pentru Curriculum si Evaluare din Invatamantul Preuniversitar, precum si subiectele pentru teza cu subiect unic la Limba si literatura romana.

Matricea de specificatii detaliata este recomandata in cazul testelor sumative care vizeaza continuturi mai restranse (evaluare la finalul unei unitati de invatare, la finalul unui semestru etc.) si chiar in cazul testelor formative (care pot viza continutul unei singure lectii si, in mod evident, nu pot tinti decat anumite nivele taxonomice). Ea poate detalia fie continuturile care vor fi acoperite prin test, fie nivelele taxonomice, fie pot include informatii amanuntite despre ambele dimensiuni.

Exemplu

Matrice de specificatii pentru un test de evaluare la unitatea de invatare Adunarea si scaderea numerelor naturale, in care sunt detaliate nivelele taxonomice

2. Calitatile testului docimologic

Pentru a putea aplica un test pedagogic este necesara verificarea calitatilor globale ale testului (Karmel si Karmel, 1978; Radu, 2000; Moise, 2003) - obiectivitate, aplicabilitate, fidelitate si validitate, precum si a calitatilor fiecarui item - dificultate si putere de discriminare.

Obiectivitatea unui test pedagogic/docimologic se refera la caracterul explicit si la claritatea itemilor, care sa permita obtinerea de scoruri comparabile in cazul unor evaluatori competenti . Aplicabilitatea se refera la adecvarea itemilor la continuturile vizate, la volumul de timp si resurse materiale necesar aplicarii care trebuie sa fie rezonabil, la claritatea modalitatii de calculare a scorurilor.

Fidelitatea si validitatea sunt adesea folosite in mod eronat ca sinonime, insa cele doua concepte au acceptiuni diferite - in timp ce fidelitatea se refera la consistenta sau stabilitatea unui test, validitatea indica masura in care un test masoara ceea ce si-a propus sa masoare. Un instrument de evaluare poate avea o fidelitate ridicata, fara a fi valid, insa un test valid are cu siguranta o fidelitate ridicata.

Fidelitatea se poate estima prin intermediul a patru modalitati diferite (Thomas, 1998; Gliner si Morgan, 2000):

Fidelitatea test-retest (coeficientul de stabilitate) presupune ca aplicarea instrumentului de evaluare acelorasi subiecti, in momente diferite, sa conduca la obtinerea unor rezultate comparabile. Evaluarea acestui tip de fidelitate poate conduce la erori provenite din familiarizarea subiectilor cu intrebarile, fiind posibil ca stabilitatea rezultatelor sa fie data de memorarea intrebarilor si a raspunsurilor, nu de calitatile instrumentului. De aceea, evaluatorul trebuie sa se asigure ca intervalul de timp intre cele doua aplicari este suficient de lung pentru a evita acest tip de eroare.

Fidelitatea prin forme alternative (coeficientul de echivalenta) presupune ca rezultatele subiectilor in urma aplicarii unui test sa fie comparabile cu cele obtinute de aceiasi subiecti in urma aplicarii unui test cu itemi similari. Estimarea acestui tip de fidelitate implica fie ca cercetatorul sa formuleze aceiasi itemi in forma diferita, fie sa schimbe ordinea itemilor in cadrul aceluiasi instrument.

Indicatorul statistic al coeficientului de stabilitate si al coeficientului de echivalenta este coeficientul de corelatie Pearson. Cele mai multe lucrari considera ca un coeficient de corelatie egal sau mai mare de 0,70 este suficient pentru a asigura cele doua tipuri de fidelitate. Anastasi (1976, p. 109) si Evans (1985, p. 79) mentioneaza insa valori ale coeficientului de corelatie cuprinse intre 0,80-0,90, pentru a putea avea certitudinea unei fidelitati ridicate.

Fidelitatea estimata prin consistenta interna sau omogenitatea a unui test se refera pe de o parte, la masura in care toti itemii relationeaza intre ei si, pe de alta parte, la masura in care fiecare item relationeaza cu rezultatul total obtinut subiecti. Au fost elaborate si sunt utilizate mai multe metode de calcul a coeficientului de consistenta interna, dintre care cele mai cunoscute sunt (Gliner si Morgan, 2000): metoda injumatatirii (split-half), metoda de calcul a coeficientului alpha Cronbach si metoda Kuder-Richardson.

Metoda injumatatirii se utilizeaza atunci cand nu exista o forma alternativa a instrumentului de evaluare sau nu s-a parcurs etapa de retest. Metoda presupune impartirea rezultatelor unui test in doua jumatati comparabile si obtinerea unui coeficient de corelatie a acestora. Impartirea se poate realiza fie strict numeric (daca avem un instrument cu 30 de intrebari, 15 sunt incluse in prima jumatate, 15 in a doua) - ceea ce nu conduce la erori daca itemii au fost ordonati in ordinea dificultatii; fie prin reunirea itemilor similari intr-o jumatate si a celor singulari in cealalta jumatate. Coeficientul de corelatie al celor doua jumatati de test este utilizat in calcularea coeficientului de consistenta interna, corectat prin formula Spearman-Brown (Anastasi, 1976, pp. 115-116; Gliner si Morgan, 2000, pp. 314-315).

Metoda Kuder-Richardson de calculare a consistentei interne estimeaza omogenitatea itemilor unui test. Omogenitatea inter-itemi poate fi afectata de doua tipuri de erori de varianta: esantionarea continutului (adica alegerea initiala a itemilor) si eterogenitatea domeniului comportamental la care se refera itemii. Cu cat domeniul comportamental surprins prin intermediul itemilor este mai omogen, cu atat creste consistenta inter-itemi. Daca cercetatorul este constient de faptul ca domeniul comportamental investigat este eterogen, eterogenitatea itemilor nu ar trebui sa fie considerata importanta, dar itemii descriind aceeasi dimensiune a domeniului comportamental trebuie sa fie omogeni. Cu alte cuvinte, consistenta inter-itemi pe dimensiunile surprinse de instrument trebuie sa fie ridicata.   Pentru calcularea consistentei inter-itemi se utilizeaza formula Kuder-Richardson (Radu, 1993, p. 372; Gliner si Morgan, 2000, p. 315). Din perspectiva matematica, coeficientul Kuder-Richardson este o medie a coeficientilor de consistenta obtinuti prin injumatatire, calculati pentru toate procedurile de impartire in jumatati a itemilor. Daca itemii nu sunt foarte omogeni, coeficientul Kuder-Richardson va fi mai mic decat coeficientul de consistenta obtinut prin injumatatire.

Coeficientul Kuder-Richardson este potrivit pentru estimarea consistentei interne doar pentru acele instrumente care au un sistem de cotare al raspunsurilor de tipul corect-gresit sau "totul sau nimic". Instrumentele care contin intrebari cu alegere multipla nu se preteaza la un asemenea tip de analiza a consistentei interne.

Coeficientul alpha (α) Cronbach este utilizat foarte frecvent in cercetarea educationala si psihologica, pentru a estima consistenta interna a testului ce contine itemi cu alegere multipla (Evans, 1985). Cea mai frecventa eroare in interpretarea coeficientului alpha Cronbach este aceea ca se confunda consistenta interna cu validitatea de construct: desi este un bun estimator al fidelitatii unui instrument, acest coeficient nu garanteaza faptul ca instrumentul masoara o singura dimensiune comportamentala (Gliner si Morgan, 2000). Raportarea unui coeficient alpha Cronbach ridicat nu garanteaza validitatea de construct a unui instrument.

Fidelitatea inter-evaluatori se refera la concordanta intre evaluarile realizate de doi sau mai multi cercetatori care aplica acelasi instrument acelorasi subiecti. Evaluatorii pot fi alesi aleator, dar exista si recomandarea de a implica experti sau de a utiliza in acelasi timp experti si evaluatori alesi aleator. In cazul in care natura problemei si a instrumentului de evaluare permit estimarea acestui tip de fidelitate, se poate calcula indicele mediu de corelatie intraclasa (Gliner si Morgan, 2000).

Validitatea unui test se refera la masura in care acesta surprinde ceea ce se presupune ca trebuie sa masoare. In cazul unui test, se pot estima mai multe tipuri de validitate (Anastasi, 1976; Evans, 1985; Havarneanu, 2000; Stan, 2002):

Validitatea de continut reflecta masura in care itemii unui test acopera problema de studiat. Este considerata adesea o valoare subiectiva (Stan, 2002) deoarece presupune ca unul sau mai multi experti sa evalueze masura in care itemii contribuie la cunoasterea fenomenului studiat. Exista cel putin doua modalitati de utilizare a metodei expertilor in evaluarea validitatii de continut: expertilor li se poate cere sa judece masura in care itemii instrumentului surprind fenomenul sau trasatura investigata (Evans, 1985) si/sau li se poate solicita sa formuleze un set de itemi care sa surprinda fenomenul sau trasatura investigata (Stan, 2002).

Desi se considera ca acest tip de validitate nu se poate estima pe baza unor procedee statistice care sa creasca obiectivitatea judecatilor, lucrarile recente (Stan, 2002, pp. 162-163) readuc in discutie formule de calcul a unui coeficient de validitate de continut:

- CVR = ^{Ne - N/2} unde N este numarul total de experti, iar N_e numarul de experti care considera

N testul, respectiv itemul ca fiind reprezentativ.

Acest coeficient de validitate poate avea valori cuprinse intre -1 si +1. Cu cat valoarea sa este mai mare, cu atat validitatea de continut este mai ridicata.

- Se poate calcula un coeficient de concordanta CC = 1 - ^s2int

s²_max

unde s²_int   este varianta intre evaluarile expertilor, iar s²_max varianta maxima posibila intre evaluarile expertilor

- In cazul in care se cere mai multor experti sa construiasca seturi de itemi care sa masoare acelasi fenomen sau trasatura, se pot utiliza pentru verificari statistice coeficientul Kendall, indicele Hambleton si coeficientul K al lui Cohen.

Validitatea criteriala (de criteriu) presupune o concordanta ridicata intre rezultatele subiectilor in urma aplicarii unui test si un criteriu. Cele doua forme ale validitatii criteriale sunt validitatea concurentiala si validitatea predictiva (Gliner si Morgan, 2000; Stan, 2002, Gall, Gall si Borg, 2007).

Validitatea concurentiala presupune compararea rezultatelor intre instrumentul de evaluare si criteriu sau un alt instrument (al carui validitate a fost anterior determinata si este ridicata). In acest caz, coeficientul de validitate exprima corelatia intre instrument si criteriu.

Validitatea predictiva surprinde relatia intre valorile obtinute prin aplicarea instrumentului si criteriu, in conditiile in care masurarea criteriului este realizata ulterior, deci puterea instrumentului de a anticipa comportamente, fenomene viitoare. In acest caz, coeficientul de validitate exprima corelatia intre un predictor (valorile unui test) si valorile criteriului. Pentru evaluarea coeficientului de validitate se pot utiliza coeficientul de regresie si punctajele critice multiple (cut-offs) (Crocker si Algina, 1986; Stan, 2002, pp. 182-183).

Validitatea criteriala, in ambele sale forme, este influentata de natura criteriului ales si de caracteristicile esantionului. De aceea, raportarea coeficientilor de validitate pentru un test trebuie insotita de specificarea si descrierea clara a criteriului si a esantionului pe care s-a realizat evaluarea.

Validitatea de construct sau conceptuala se refera la cat de bine este transpus intr-un instrument un concept (o competenta, o caracteristica etc.). Evaluarea validitatii de construct presupune atat un demers teoretic, cat si un demers empiric: parcurgerea bibliografiei de specialitate ce cuprinde date experimentale anterioare cu privire la acelasi construct/concept si claritatea rationamentelor ipotetico-deductive sunt la fel de importante ca procedurile bazate pe date empirice.

Cele mai utilizate procedurile de evaluare a validitatii de construct bazate pe analiza de date empirice sunt (Anastasi, 1976; Crocker si Algina, 1986; Stan, 2002):

- corelatia dintre rezultatele obtinute prin aplicarea unui test si cele provenite din utilizarea altor teste sau chestionare care masoara acelasi construct;

- corelatia dintre rezultatele obtinute prin aplicarea unui instrument si cele obtinute din aplicarea unor instrumente care masoara caracteristici care relationeaza cu ceaa studiata;

- analiza factoriala;

- studierea efectului unor variabile experimentale asupra scorurilor obtinute de subiecti;

- Multitrait-multimethod Matrix - o metoda propusa de D.T. Campbell si D.W.Fiske (apud Anastasi, 1976) prin care se pot evalua validitatea convergenta si discriminatorie. Validitatea convergenta estimeaza masura in care doua teste masoara acelasi construct, iar validitatea discriminatorie se refera la relatia non-corelationala cu teste care masoara alte constructe decat cel studiat. Matricea centralizatoare include corelatii intre teste care masoara aceeasi trasatura, corelatii intre teste care masoara trasaturi diferite si corelatii intre acestea din urma in cazul utilizarii unor metode diferite de masurare (vezi pentru exemple Anastasi, 1976, p. 157 si Stan, 2002, p. 192).

Pentru a aprecia validitatea globala a unui test este necesara atat specificarea mai multor coeficienti de fidelitate, cat si prezentarea unor consideratii legate de toate tipurile de validitate.

Coeficientul de dificultate al unui item (Anastasi, 1976; Karmel si Karmel, 1978; Radu, 2000; Moise 2003) se calculeaza ca procent de subiecti care rezolva corect un item. Itemii prea usor sau prea dificil de rezolvat nu ofera informatii relevante despre subiecti si sunt eliminati in etapa de revizuire a testului. Din punct de vedere strict statistic, itemul "ideal" ar fi cel care este rezolvat corect de 50% dintre subiecti. In general, se accepta un coeficient de dificultate cuprins intre 25% si 75%.

Coeficientul de discriminare (Anastasi, 1976; Karmel si Karmel, 1978; Radu, 2000; Moise, 2003) indica masura in care un item face diferenta intre subiectii cu performante inalte si cei cu performante scazute. Se poate calcula ca diferenta intre procentul de subiecti care au rezolvat corect itemul analizat din cincimea superioara a clasamentului, realizat pe baza scorurilor totale la test (primii 20% dintre subiecti) si procentul de subiecti care a rezolvat corect itemul analizat din cincimea inferioara a clasamentului (ultimii 20% dintre subiecti). Valoarea minima acceptata a coeficientului de discriminare este de 25%.

Bibliografie:

Anastasi, A. (1976) Psychological testing, editia a IV-a, McMillan Publishing Co., New York

Best, J. W. (1977) Research in education, Prentice-Hall, Inc, New Jersey - pp. 183-191

Crocker, L. Algina, J. (1986) Introduction to classical and modern test theory, Holt, Rinehart and Winston Inc., Orlando

Evans, J.D. (1985) Invitation to psychological research, CBS College Publishing, New York - pp. 74-82, 232-254

Gall, M.D., Gall, J.P., Borg.W.R. (2007) Educational research: an introduction, 8th Edition, Pearson Education, Inc., Boston, pp.192-227

Gliner, J.A., Morgan G. A. (2000) Research Methods in Applied Settings: An Integrated Approach to Design and Analysis,Lawrence Erlbaum Associates, New Jersey

Havarneanu, C. (2000) Cunoasterea psihologica a persoanei. Posibilitati de utilizare a computerului in psihologia aplicata, Editura Polirom, Iasi

Karmel, L.J., Karmel, M.O. (1978) Measurement and evaluation in the schools, editia a II-a, McMillan Poblishing Co., New York

Mason, E. J., Bramble, W. J. (1997) Research in Education and the Behavioral Sciences, Brown & Benchmark Publishers, Dubuque, USA

McMillan, James H. (1992) Educational Research. Fundamentals for the Consumer, HarperCollins Publishers Inc., New York - pp. 114-120

Moise, C. (2003) Teoria si practica evaluarii, in Psihologie. Curs pentru Invatamant la Distanta, Editura Universitatii "Al. I. Cuza", Iasi, pp. 234-324

Radu, I. (1993) Principii metodologice in elaborarea si utilizarea probelor psihologice, in Radu, I. (coord.), Metodologie psihologica si analiza datelor, Editura Sincron, Cluj, pp. 357-381

Radu, I. T. (2000) Evaluarea in procesul didactic, E.D.P, Bucuresti, pp. 233-253

Stan, A. (2002) Testul psihologic. Evolutie, constructie, aplicatii, Editura Polirom, Iasi

Stoica, A. (coord) (2001), Evaluarea curenta si examenele, Editura ProGnosis, Bucuresti

Thomas, R.M. (1998) Conducting Educational Research. A comparative view, Bergin & Garvey Westport, Connecticut- pp. 149-161

De Landsheere, V., De Landsheere, G. (1979) Definirea obiectivelor educatiei, EDP, Bucuresti

Ausubel, D., Robinson, Fl. (1981) Invatarea in scoala. O introducere in psihologia pedagogica, E.D.P., Bucuresti

Schreerens, J., Glas, C., Thomas, S. M. (2003) Educational evaluation, assessment and monitoring. A systemic approach, Swets & Zeitlinger Publishers, Lisse,The Netherlands