CARACTERISTICI METROLOGICE: VALIDITATEA

1. Definitia validitatii

2. Fatetele validitatii: relativa la constructul masurat; relativa la continutul sau: relativa la criteriu;

3. Eroarea standard a estimarii

4. Aspecte privind interpretarea validitatii; matricea progresiva Messick

1. Definitia validitatii

Exista un numar de probleme generale si perene ale validitatii. Tipul de intrebari clasice la care putem raspunde este: 'Masoara testul ceea ce pretinde?', 'Poate fi utilizat in luarea unor decizii corecte?' Cercetam aspectele avute in vedere de test suficient de echilibrat? S-a pierdut ceva important? Modul de masurare introduce cumva surse de invalidare sau de variatie irelevanta care pot influenta scorurile sau evaluarile? Modul ales de scorare reflecta maniera in care se combina procesele domeniului respectiv pentru a produce efecte? Este structura scorului ales consistenta cu structura domeniului asupra caruia trebuie sa producem evaluari sau sa facem predictii? Ce dovezi exista ca scorurile noastre semnifica ceea ce interpretam ca ar semnifica si, in particular, ca reflectari ale unor caracteristici personale ce au implicatii plauzibile pentru actiunea educationala, de selectia de personal sau terapeutica?

O serie de intrebari par in prezent sa transforme procesul de validare intr-o progresiva includere a tot mai multe aspecte practice. Astfel: Exista interpretari plauzibile opuse pentru intelesul scorurilor, sau implicatii alternative pentru actiuni si, daca exista, prin ce dovezi si argumente au aparut? Sunt evaluarile si scorurile fidele si sunt ele proprietati si relatii generalizabile de-a lungul continuturilor si contextelor de utilizare, cat si pentru grupe de populatie pertinente? Sunt implicatiile valorice ale interpretarilor scorurilor fundamentale empiric si mai ales, au ele si un aspect peiorativ; sunt co-articulate cu implicatiile scorurilor trasaturii respective? Au scorurile utilitate pentru scopurile propuse in sedintele aplicative? Sunt aplicate corect pentru scopurile avute in vedere? Exista consecinte pe termen lung sau scurt pentru interpretarea scorurilor. Sunt ele folosite ca punct de sprijin pentru scopurile generale ale testarii; nu exista cumva si efecte secundare?

Toate aceste intrebari reprezinta, in practica validarii testului, cautarea dovezilor si argumentelor referitoare la amenintarea majora a lipsei de reprezentativitate a constructului si cea privind variatia constructului, dar cer si evaluarea implicatiilor intelesului scorurilor pentru actiuni educationale, de selectie sau terapeutice .

Standardele APA (1954) propun patru categorii esentiale de definire a validitatii denumite cele "patru fete ale validitatii" si care in prezent au devenit patru strategii ale validarii inferentelor facute pe baza scorurilor de test (APA Standards, 1985):

1. validitatea conceptuala;

2. validitatea de continut;

3. validitatea predictiva;

4. validitatea concurenta.

Validitatea unui test, arata Silva (1993), se refera la cat de potrivite sunt interpretarile descriptive, explicative sau predictive care se dau scorurilor sale (Silva, l993). Intr-o acceptiune actuala, conceptului de validitate i s-a dat o semnificatie noua., prin aceasta intelegandu-se "masura in care o anumita inferenta facuta plecand de la test are inteles si este potrivita" (APA Standards, l985).

Definitie: Validarea unui test este procesul prin care se investigheaza gradul de validitate a interpretarii propuse de acesta (APA. Standards 1985). lata deci ca validarea nu se mai refera atat la instrumentul in sine, ci la interpretarea datelor furnizate de el. Dar, pentru o interpretare corecta a scorurilor unui test este necesar sa fie indeplinite doua conditii (Albu, 1995):

. sa se stie exact ce reprezinta scorurile testului;

. masurarile tacute de test sa fie corecte.

Aceasta ar insemna ca:

. Scorurile unui test pot fi masuratori ale unei variabile construite de psihologi (construct psihologic) sau pot fi niste valori care sa se gaseasca intr-un anumit tip de relatie cu rezultatele unei alte masuratori.

. Evaluarile facute de test sunt corecte daca ierarhia subiectilor realizata pe baza scorurilor testului este foarte asemanatoare clasamentului acestora pe baza variabilei masurate de test (ale carei valori sunt insa necunoscute) sau pe baza rezultatelor masuratorii cu care se compara testul.

Toate verificarile care se efectueaza asupra testului, sunt parte integranta a procesului de validare. Deci, validarea studiaza si corectitudinea proiectarii testului. Din aceasta perspectiva, expresia 'validitatea testului" devine o abreviere conventionala pentru "validitatea testului si validitatea inferentelor facute pe baza scorurilor sale".

Standardele APA (1985) apreciaza ca nu se poate vorbi despre "tipuri" diferite de validitate, cele recunoscute pana acum sunt doar simple etichete atribuite unor categorii de strategii de validare care nu sunt disjuncte. De exemplu, validarea relativa la criteriu poate fi efectuata atat in cazul testelor care masoara un construct, cat si in cel al testelor utilizate in predictie (Guion, 1986). In primul caz, criteriul este un construct ales datorita legaturilor pe care se presupune ca le are (sau ca nu le are) cu constructul masurat de test. In cel de-al doilea caz, criteriul este o masura a performantei sau a comportamentului in munca.

C. L. Lawshe propune inlocuirea denumirii de 'tip de validitate" cu cea de "tip de analiza a validitatii". Prin "analiza validitatii" el intelege o procedura, un proces sau o strategie prin care se colecteaza sau se genereaza date in vederea determinarii extinderii ori a robustetii inferentelor care pot fi facute pe baza unei multimi de scoruri de test ( l 986).

Sursele fundamentale ale dovezilor validitatii nu sunt nelimitate. Exista doar un numar de strategii de cercetare principale care permit obtinerea unor dovezi consistente. Astfel se poate avea in vedere surse de dovezi care se adreseaza unor aspecte distincte ale validitatii:

Relevanta si reprezentativitatea continutului testului in relatie cu continutul comportamentului sau cu domeniul de performanta;

Se pot examina relatiile intre raspunsurile la sarcini, itemi sau parti ale testului prin abordarea structurii interne a raspunsurilor la test;

Se pot avea in vedere relatiile scorurilor la test cu alte masuratori si cu variabile de fundal; acest lucru semnifica elaborarea structurii externe a testului;

Se pot proba direct modalitatile in care individul face fata itemilor sau sarcinilor lamurind procesele psihice care asigura raspunsul la itemi sau performantele la test;

Se pot investiga uniformitatile sau diferentele dintre aceste procese la test si structurile de-a lungul timpului sau sedintelor, acest lucru asigurandu-ne ca gradul de generalizare si limitele interpretarii testului si utilizarii lui sunt adecvate constructelor si contextelor respective;

Se poate evalua gradul in care scorurile la test prezinta variatii adecvate, sau expectate teoretic, in functie de instructajele primite sau de alte interventii, sau ca rezultat al manipularii experimentale a continutului si sau conditiilor;

Se pot avea in vedere implicatiile valorice si consecintele sociale ale interpretarii si utilizarii scorurilor testului in modurile avute in vedere. In acest ultim demers se pot avea in vedere nu numai rezultatele intentionate ci si efectele secundare neintentionate si, in particular, se poate evalua masura in care orice consecinte contrare ale testarii deriva din surse de invalidare a scorurilor precum varianta testului prin irelevanta constructului.

In legatura cu validitatea testelor, se impun patru idei teoretizate de Hammond, 1995:

. Exista numeroase metode pentru va1idarea testelor, care pot fi privite ca moduri diferite de formulare a cerintelor referitoare la teste. Corespunzator scopurilor pentru care se utilizeaza un test, se alege strategia de validare corespunzatoare. Ea se poate baza pe analiza de itemi, pe analiza factoriala, pe determinarea corelatiilor testului cu diverse criterii etc.

. Validitatea unui test nu poate fi estimata printr-un singur coeficient, ci se deduce din acumularea dovezilor empirice si conceptuale.

Standardele APA din 1974, subliniaza faptul ca "validitatea nu se masoara, ci se deduce". Manualul testului trebuie sa contina coeficientii de validitate, dar in cazul unei aplicari particulare a testului nu se va lua in considerare un singur coeficient, ci, prin analiza lor globala, se va aprecia daca utilizarea testului este "adecvata" sau "nesatisfacatoare".

Pentru a sublinia ideea ca este gresit sa se spuna "testul are validitate (de un anumit tip)", Standardele APA din 1985 modifica terminologia utilizata in legatura cu validitatea. Astfel, ele inlocuiesc denumirile - cunoscute ale tipurilor ele validitate cu urmatoarele "etichete" atribuite strategiilor de validare: "dovezi ale validitatii relative la continut", "dovezi ale validitatii relative la construct" si "dovezi ale validitatii relative la criteriu". Prin urmare, faptul ca scorurile testului folosit ca predictor coreleaza liniar semnificativ, la un prag de probabilitate fixat, cu valorile unui criteriu nu reprezinta o evaluare a validitatii relative la criteriu si nu permite sa se afirme ca "testul are validitate relativa la criteriu", ci doar constituie una dintre dovezile validitatii relative la criteriu a testului.

. Validarea unui test este cumulativa. Procedura de va1idare trebuie reluata periodic pe esantioane diferite de subiecti. Ori de cate ori se face o modificare importanta intr-un test in ceea ce priveste formatul, limbajul, continutul sau instructiunile de administrare, testul trebuie revalidat.

. Validitatea unui test depinde mai mult de felul in care este folosit testul decat de testul in sine.

Un exemplu referitor la tipurile de validitate care trebuiesc verificate pentru un singur test, compus din exercitii de aritmetica, daca acesta este utilizat in scopuri diferite apare in tabelul privind diferite moduri de verificare a validitatii unui test, in functie de obiectivul utilizarii acestuia (Anastasi, 1976):

In ce scop este utilizat testul Intrebarea pe care si-o Ce tip de validitate

utilizatorul testului cand este verificata

vrea sa interpreteze scorul

subiectului

Verificarea cunostintelor Cat de mult a invatat Validitatea

de aritmetica in elevul in trecut? de continut

scoala primara

Testarea aptitudinii Cat de bine va invata Validitatea

matematice pentru elevul in viitor? de continut

predictia performantelor

in gimnaziu

Diagnosticarea lipsei Performanta elevului Validitatea
deprinderii de a face indica lipsa deprinderii de relativa
calcule a face calcule? criteriu
(validitatea
concurenta)
Masurarea rationa- Cum poate fi descris Validitatea
mentului logic modul de a rationa al conceptuala
elevului?

Concluzii:

Este absolut necesar ca atunci cand se vorbeste despre validitatea unui test sa se indice despre ce validitate este vorba (predictiva, de continut etc.).Daca in cadrul unei populatii exista subgrupuri cu caracteristici diferite, este posibil ca intre acestea sa apara deosebiri si in privinta validitatii predictive a testelor.

De exemplu, un test poate fi un bun predictor al performantei numai pentru barbati, nu si pentru femei. Sau numai pentru persoane care au studii superioare etc. O variabila care modifica validitatea predictiva a unui test, cum sunt variabilele din exemplele anterioare se numeste variabila moderatoare (Dunnette, l966).

2. Fatetele validitatii: relativa la constructul masurat; relativa la continutul sau; relativa la criteriu

Doua observatii importante facute de Standardele APA din 1985 relativ la "tipurile" de validitate:

. prin "tipuri" de validitate nu se inteleg "categorii disjuncte";

. nu se poate afirma ca un tip de validitate este mai potrivit decat altul pentru o anumita utilizare a testelor sau pentru o categorie specifica de inferente bazate pe scoruri.

Validitatea testului relativa la constructul masurat

Prin intermediul testelor psihologice se masoara atribute abstracte ca inteligenta, motivatia agresivitatea, depresia etc., denumite constructe. Asemenea variabile sunt construite pornind de la fapte observabile, printr-un sir de rationamente bazate pe ipoteze si deductii. Din acest motiv, va1iditatea relativa la construct este adesea denumita si "validitate ipotetico-deductiva" (Bacher, 1 981). Toate constructele sunt insa conectate de realitate, reprezinta aspecte sau evenimente ale realitatii observabile. Constructele psihologic sunt evidentiate, direct sau indirect, de comportament sau in urma conducerii unor experimente dedicate masurarii lor.

Deoarece termenii construct si concept sau notiune sunt adesea utilizati ca sinonimi, validitatea relativa la construct a testului este denumita si "validitate conceptuala" (concept validity). Intre cei doi termeni exista insa o deosebire, evidentiata de L. J. Cronhach : "constructul" este "o categorie creata intentionat pentru a organiza experienta in enunturi generale care se prezinta sub forma de legi" (Si1va, 1993). Un construct este, deci, o notiune elaborata si utilizata intr-un cadru stiintific (teoretic, metodologic sau ap1icativ).

Validarea testului relativa la constructul masurat se ocupa de calitatile psihice care contribuie la formarea scorurilor acestuia si urmareste intelegerea dimensiunilor evaluate de test. Privind constructul ca baza interpretativa a raspunsurilor subiectilor, acest tip de validare are si scopul de a identifica si analiza procesele psihice declansate sau detectate de test (Silva, I 993).

L. J. Cronbach, reluand ideea formulata de Standardele APA clin 1954 conform careia prin validarea testului relativa la constructul masurat se valideaza atat testul cat si ipotezele aflate la baza sa scrie: "Validitatea testului si validitatea constructului strict inseparabile. Cand un test nou este elaborat pentru masurarea unui construct cunoscut, riscul ca validitatea sa fie nesatisfacatoare este mai mare pentru test decat pentru construct. Se poate constata si necesitatea revizuirii constructului. Un exemplu in acest sens se constituie abandonarea ideii traditionale asupra debilitatii mintale" (Silva, 1993).

Numai intelegand constructul masurat de test se pot formula ipoteze asupra predictiilor pe care le face testul si asupra relevantei si a reprezentativitatii continutului sau. Deci, validarea constructului trebuie sa preceada validarea continutului testului si validarea relativa la criteriu.

Procedura: Pentru a putea verifica daca un test masoara bine un anumit construct, este necesar sa se realizeze o descriere a constructului in termeni comportamentali concreti. Operatia se numeste 'explicarea constructului' si consta din trei pasi (Murphy si Davidshofer, 199l):

Se identifica acele comportamente care au legatura cu constructul masurat de test.

Se identifica alte constructe si pentru fiecare se decide daca are sau nu legatura cu constructul masurat de test.

Se alcatuieste cate o lista de comportamente prin care se manifesta aceste constructe. Pentru fiecare din ele, pe baza relatiilor dintre constructe, se decide daca are sau nu legatura cu constructul masurat de test.

Murpy si Davidshofer (1991) exemplifica procesul de descriere a constructului de "agresivitate la elevi" prin urmatorul exemplu:

Construct    Comportament

1. Identificarea comportamentelor referitoare la agresivitate

agresivitate    ataca alti elevi

este capul rautatilor

domina in jocuri

2. Identificarea altor constructe si se decide daca au sau nu legatura cu acest comportament

trebuinta de putere

agresivitate    ataca alti elevi

este capul rautatilor

domina in jocuri

onestitate

3. Se identifica comportamentele aferente fiecarui construct si se determina relatia cu constructul care trebuie masurat

trebuinta de putere    ia decizii in grup

agresivitate    ataca alti elevi

este capul rautatilor

domina in jocuri

onestitate    se abtine de la certuri

spune adevarul profesorului

Din analiza modelului de mai sus rezulta un sistem de relatii care inglobeaza un set de constructe si comportamente, denumit de L. J. Cronbach, "retea nomologica" ("nomologica" in sensul ca ea are la baza declaratii exprimate sub forma de legi). Unii autori au folosit termenul de "stohastic", sustinand ca relatiile dintre componentele retelei sunt mai degraba probabilistice decat de tip lege.

Ideile referitoare la caracterul structural al constructelor si la existenta retelelor nomologice au condus la descompunerea operatiei de validare a testului relativa la constructul masurat, in trei componente:

. validarea materialului testului (substantive validity), care necesita specificarea constructului masurat de test si se confunda uneori cu validarea continutului testului;

. validarea structurii constructului aflat la baza testului (structural validity), care identifica elementele componente ale constructului si investigheaza legaturile dintre ele;

. validarea externa (extenal validity), care urmareste sa determine relatiile constructului cu alte masuratori (constructe sau variabile observate).

Validarea externa se refera la calitatea testului de a avea relatii corecte cu alte masuri psihologice; ea este denumita uneori 'validitate convergenta si discriminanta' (Murphy si Davidshofer, 1991):

a. Un test are validitate convergenta daca masoara ceea ce evalueaza si alte teste sau variabile care se refera la acelasi construct, deci scorurile sale variaza (liniar sau nu) in acelasi sens cu rezultatele respectivelor masuratori.

b. Un test are validitate discriminanta daca evalueaza altceva decat diverse teste sau variabile despre care se stie ca se refera la constructe ce nu au legatura cu constructul masurat de test. Aceasta inseamna ca scorurile testului nu sunt in relatie functionala monotona (liniara sau nu) cu rezultatele acelor masuratori.

Procedura: Verificarea validitatii convergente si discriminante se realizeaza conform urmatorului algoritm:

. Se identifica acele comportamente care sunt legate de constructul masurat de test.

. Se determina constructele care au legaturi cu constructul masurat de test si se pun in evidenta acele comportamentele legate de ele care pot fi conectate cu constructul masurat de test.

. Pentru toate comportamentele retinute se apreciaza ce fel de corelatii ar putea exista intre masurile lor si o masura buna a constructului care ne intereseaza (corelatii pozitive, negative, mari, mici sau nule).

. Se determina coeficientii de corelatie intre scorurile la testul studiat si rezultatele unor masuratori (eventual scoruri de teste) efectuate asupra comportamentelor retinute.

Se compara coeficientii de corelatie obtinuti cu valorile asteptate.

O metoda utilizata pentru verificarea validitatii convergente si discriminante a testelor este aceea propusa de D. T. Campbell si D. W. Fiske, bazata pe matricea "multitrait-multimethod" (Anastasi, 1976; Pitariu, l 994). Aceasta contine valorile coeficientilor de corelatie 1iniara intre diverse masuratori ale acelorasi constructe, dar obtinute prin intermediul a doua sau trei tehnici ori instrumente diferite.

In urma evaluarii constructelor A, B si C, de spre care se face presupunerea ca nu au legaturi intre ele, prin trei metode diferite "test I", "test II" si "test III" - s-a obtinut urmatoarea matrice de coeficienti de corelatie liniara (pentru a se putea urmari mai usor datele, ea a fost scrisa sub forma unui tabel unde coeficienti de corelatie sunt la pragul p .05):

Tabel privind matricea multitrasatura, multimetoda, Campbell si Fiscke

Valorile notate pe diagonala principala sunt coeficientii de fidelitate ai testelor, obtinuti prin metoda formelor paralele. De exemplu, pentru testul II, coeficientii de fidelitate sunt .74 (pentru constructul A), .77 (pentru constructul B) si . 82 (pentru constructul C).Valorile de pe diagonalele celorlalte casute sunt coeficientii de corelatie intre masuratorile realizate de cele trei teste pentru aceleasi constructe. Ei servesc la verificarea validitatii congruente.

De exemplu. pentru constructul a, coeficientii de corelatie sunt:

.46 (testul I cu testul II);

.50 (testul I cu testul III);

.54 (testul II cu testul III).

Pentru constructul b,

.48 pentru testul I cu II

.46 pentru I cu III

.65 pentru II cu III

Pentru constructul c,

.55 pentru I cu II

. 60 pentru I cu III

.61 pentru II cu III

Toti acesti coeficienti sunt semnificativi statistic la pragul p .05, ceea ce denota validitatea convergenta a celor trei teste.

Celelalte valori din matrice reprezinta coeficientii de corelatie liniara intre constructe diferite, masurate prin acelasi test sau prin teste diferite. Ei servesc la aprecierea validitatii discriminante a testelor.

Se observa ca testele I si II discrimineaza intre constructele A si B (coeficientii de corelatie aflati sub diagonala casutelor I - I, I - II si II - II sunt nesemnificativi la pragul p .05), in timp ce testul III nu are validitate discriminanta (coeficientii de corelatie liniara intre constructele A, B si C, masurate prin testul III - in casuta III - III - sau prin testul III si un alt test - in casutele I-III si II - III - sunt, in general, semnificativi la pragul p .05).

In exemplul prezentat, validitatea convergenta si discriminanta a testelor I, II si III a fost usor de dedus. Dar, in practica, apar situatii complexe, cand multi coeficienti de corelatie liniara pentru un acelasi construct sunt nesemnificativi si multi coeficienti de corelatie liniara intre constructe diferite sunt semnificativi statistic. In asemenea cazuri este greu de apreciat care dintre teste este lipsit de validitate.

Daca testele masoara constructe cu o structura complexa. pot sa apara dificultati la interpretarea scorurilor. Din acest motiv, unii autori, ca M. L. Tenopyr, D. W. Fiske, J. C. Nunnally si R. L. Durham, sustin ca pentru a putea utiliza la interpretarea scorurilor unui test deductii bazate pe felul in care este construit testul, trebuie ca testul sa se refere la constructe simple, bine definite si cu manifestari usor de observat (Silva, 1993).

Alte metode pentru masurarea validitatii de construct

Din cele prezentate mai sus se constata ca intregul proces de validare relativa la construct a testului consta in formularea de ipoteze stiintifice (asupra componentelor constructului, asupra relatiilor dintre aceste componente etc.) si in verificarea acestora. Metodele aplicate in validare sunt dependente de ipotezele formulate. Din acest motiv nu exista metode valabile pentru validarea relativa la construct a oricarui test. De exemplu; validarea unui test relativa la constructul masurat poate sa contina urmatorii pasi (Fisseni, 1990):

. se identifica a care aspect din teorie se refera flecare item;

se verifica daca itemii sunt formulati clar;

se studiaza corelatiile dintre itemi;

. se cerceteaza corelatiile itemilor cu o scala externa testului:

. se face analiza de itemi;

se efectueaza analiza factoriala si analiza de clusteri a itemilor.

O alta metoda de studiere a validitatii relative la construct implica manipularea experimentala a constructului masurat de test (Murphy, 1987). De exemplu, in cazul unui test destinat sa masoare anxietatea, se formeaza doua grupe similare de subiecti. In conditii care nu genereaza anxietate, cele doua grupe vor realiza la test scoruri asemanatoare. Daca, insa ta administrarea testului, .unui grup i se spune ca va avea o surpriza neplacuta, iar celuilalt i se face instructajul obisnuit, este de asteptat ca scorurile testului sa difere semnificativ intre grupe.

Trebuie sa se retina ca validitatea relativa la construct a unui test nu poate fi exprimata printr-o multime de coeficienti. Ea se deduce prin acumularea rezultatelor cercetarii relative la ipotezele propuse (Silva, 1993).

Validitatea testului relativa la continutul sau

Definitie: Acest tip de validitate este analizat la testele care se utilizeaza pentru a estima "cum actioneaza o persoana in universul de situatii pe care testul intentioneaza sa il reprezinte" (APA Standards, 1974).

Observatii:

In literatura psihologica exista pareri diferite despre ceea ce se urmareste prin validarea testului relativa la continut. Anastasi (1976), considera ca acest tip de validare implica "examinarea sistematica a continutului testului pentru a determina daca el acopera un esantion reprezentativ din domeniul de comportamente pe care testul in cauza trebuie sa il masoare'. Alti autori inlocuiesc expresia "domeniu de comportamente" cu "multimea sarcinilor" sau "multimea performantelor". M. M. Linchan sustine ca validarea relativa la continut determina cat de bine reprezinta conditiile in care este observat (prin test) comportamentul persoanei toate multimile de conditii pe care vrem sa le generalizam" (Silva, 1993). R. T. Lennon considera ca. validitatea relativa la continut se refera la raspunsurile subiectului si nu la intrebarile testului.

Pentru analizarea acestui tip de validitate trebuie luat in considerare nu numai continutul itemilor testului ci si procesul utilizat de subiect pentru a ajunge la formularea raspunsului (Silva, 1 993). De exemplu, un test avand drept domeniu de continut "cunostintele de ortografie", format din itemi cu alegere multipla, poate verifica daca un individ recunoaste cuvintele scrise corect din punct de vedere ortografic, dar nu si daca acesta stie sa scrie corect dupa dictare. Deci nu este suficient sa se spuna ca testul evalueaza cunostintele de ortografie.

In unele acceptiuni, validarea relativa la continut este o componenta a validarii relative la construct. Ea se realizeaza dupa definirea constructului si urmareste sa verifice daca esantionu1 de stimuli si cel de raspunsuri observate si inregistrate in procesul de masurare sunt reprezentative pentru universul de comportamente pe care il defineste constructul respectiv (M. M. Linehan, dupa Silva, l993).

Nu se poate afirma ca, in privinta atributului masurat de test, un subiect care a realizat un scor mai mare ii este superior unuia care a obtinut un scor mai mic. Deci, operatiile cuprinse sub denumirea de "validarea testului relativa la continutul sau" nu reprezinta o validare, in sensul definitiei date de Standardele APA din 1995. Ele realizeaza doar analiza testului in privinta claritatii, a reprezentativitatii si a relevantei continutului sau. Ar putea fi privite ca o componenta a validarii testului.

Validitatea testului relativa la criteriu

Definitie: Validarea relativa la criteriu se refera la gradul in care deductiile facute pornind de la scorurile testului concorda cu cele bazate pe scorurile unei alte masurari, numita criteriu.

Este important ca un test sa fie valid relativ la un criteriu atunci cand testul trebuie sa inlocuiasca variabila criteriu, fie din cauza ca valorile variabilei criteriu nu sunt cunoscute in momentul testarii (de exemplu, in cadrul unei actiuni de selectie profesionala), fie pentru ca administrarea testului este mai putin costisitoare decat masurarea variabilei criteriu.

Daca variabila criteriu este un alt test psihologic, este necesar ea acesta sa fie fidel si, in plus, pentru situatia in care are loc testarea sa existe siguranta ca scorurile sale pentru o interpretare (deci criteriul este valid, Fisseni, 1990).

Aprecierea validitatii relative ta criteriu se bazeaza, de obicei, pe valorile unui "coeficient de validitate a testului", obtinut in urma calculului coeficientului de corelatie (liniara sau de alt fel) intre scorurilor testului si rezultatele criteriului.

Putem observa ca:

In cazul testelor utilizate pentru masurare, validarea relativa la criteriu este o componenta a validarii relative la constructul masurat. Ea apreciaza "gradul in care rezultatele furnizate de test coreleaza cu rezultatele altui instrument de evaluare despre care se presupune ca masoara acelasi construct sau unul similar" (S. N. Haynes, citat dupa Silva, 1993). Evident, calculul coeficientului de corelatie trebuie sa fie precedat de analiza constructelor masurate de test si de criteriu.

Chiar si "validarea factoriala" utilizata pentru cercetarea validitatii relative la construct a unui test este, de fapt, o validare relativa la criteriu (Anastasi, 1954). Criteriul este reprezentat, in acest caz, de factorul care corespunde constructului masurat de test. Una dintre conditiile impuse pentru a putea aprecia ca testul este valid este ca itemii sai sa aiba saturatii mari in factorul respectiv. Or, saturatia unui item intr-un factor este valoarea coeficientului de corelatie liniara intre scorurile itemului si scorurile factorului.

In cazul testelor utilizate pentru a se lua decizii, validarea relativa la criteriu urmareste daca deciziile bazate pe scorurile testului coincid cu cele care au la baza valorile unei variabile criteriu, despre care se presupune ca permite sa se ia decizii corecte. De exemplu, decizia poate consta in acceptarea sau respingerea candidatilor care concureaza pentru un post. Se dovedeste ca testul este valid relativ la acest criteriu daca se constata ca indivizii acceptati (pe baza unor considerente care nu includ rezultatele testului) sunt tocmai cei care au scoruri mari la test, iar cei respinsi sunt cei cu scoruri mici.

Variabila criteriu poate fi unidimensionala sau multidimensionala, cu valori cantitative sau /si calitative. De exemplu, in selectia profesionala o variabila criteriu poate fi constituita din performantele in activitatea anterioara (apreciate printr-un calificativ), rezultatele unor probe de lucru (cu valori cantitative) si unele date biografice (apreciate dihotomic, dupa cum indeplinesc sau nu anumite conditii fixate anterior; de exemplu sexul, starea civila etc.).

Validarea testelor utilizate pentru predictie are in vedere gradul in care scorurile testului - numit in acest caz 'predictor" - pot fi utilizate pentru a se deduce performanta unei variabile numita "criteriu", independenta de test (Guion, l974). Trebuie mentionat ca o aceeasi variabila poate sa joace rol de predictor intr-un caz (de exemplu, performanta scolara ca predictor pentru performanta profesionala) sau rol de criteriu in alt caz (de exemplu, aceeasi performanta scolara ca si criteriu pentru un test de inteligenta).

Procedee utilizate pentru validare

Exista doua strategii utilizate in mod obisnuit pentru aprecierea validitatii relative la criteriu a testelor:

a. validarea predictiva;

b. validarea concurenta.

Validarea predictiva este interesata de gradul de eficienta al testului in prognoza comportamentului unei persoane intr-o situatie data. Ea se realizeaza prin compararea scorurilor testului cu rezultatele obtinute la criteriu dupa un interval de timp mai lung sau mai scurt.

De exemplu, pentru estimarea validitatii predictive a unui test utilizat in selectia profesionala se calculeaza coeficientul de corelatie liniara intre scorurile testului, administrat, de pilda, cu ocazia finalizarii unui curs de pregatire profesionala, si masurile performantelor obtinute de aceleasi persoane dupa un anumit timp, cand tuturora li s-a creat posibilitatea sa aplice cunostintele respective.

Trebuie subliniat faptul ca validitatea predictiva se cerceteaza folosind loturi neselectionate. Aceasta inseamna ca toate persoanele carora li s-a administrat testul vor uima acelasi tratament si vor fi prezente la evaluarea variabilei criteriu. In acest fel se asigura ca in lotul de subiecti care serveste pentru compararea testului cu criteriul sa existe atat scoruri mari la test, cat si mici.

Nu totdeauna se poate realiza asa ceva. Este greu de acceptat. de exemplu, ca sa fie angajate toate persoanele care se prezinta la selectia profesionala sau ca decizia referitoare la angajare sa se ia la intamplare.

Pentru estimarea validitatii concurente este necesara obtinerea scorurilor la criteriu aproximativ in acelasi timp cu cele ale testului.

Deosebirea esentiala dintre cele doua tipuri de validari relative la criteriu nu consta in lungimea intervalului de timp dintre administrarea testului si inregistrarea rezultatelor criteriului, ci in faptul ca validarea concurenta utilizeaza un esantion de populatie selectionat (personal angajat deja sau studenti admisi in facultati). Apare aici problema denumita restrangerea multimii si care face ca validarea concurenta sa nu poata fumiza totdeauna informatii corecte asupra capacitatii predictive a testului.

Problema restrangerii multimii.

Lotul de persoane utilizat la calculul coeficientului de corelatie liniara provine din populatia asupra careia ar fi trebuit sa se faca predictia, dar pana in momentul cand se inregistreaza valorile variabilei criteriu el a fost supus deja la doua selectii:

Pe de o parte, au fost retinuti din esantionul initial doar cei care au obtinut rezultate bune la un anumit criteriu (de exemplu, cei care au avut note mari la admiterea in facultate). Daca acest criteriu masoara acelasi lucru ca si testul, atunci persoanele ramase sunt cele care vor obtine la test scoruri mai mari decat ar fi realizat cei respinsi.

Pe de alta parte, au fost eliminati cei cu performante scolare sau profesionale slabe, adica cei cu valori mici la variabila criteriu utilizata in studiul validitatii. Este posibil sa fi fost inlaturati prin promovare, si cei cu valori foarte mari la criteriu.

In lotul considerat, atat multimea scorurilor testului cat si multimea valorilor criteriului reprezinta restrangeri ale multimilor corespunzatoare care s-ar fi obtinut pentru populatia totala. In acest caz, coeficientul de corelatie liniara calculat pe baza celor selectionati difera de cel rezultat pentru populatia intreaga care ar fi fost util pentru a putea aprecia valoarea predictiva a testului. Iata, de exemplu, influenta unor tipuri de restrangeri asupra valorii corelatiei dintre scorurile testului si valorile variabilei criteriu (Pitariu, Albu, 1996):

A. In populatia P scorurile testului coreleaza destul de puternic cu valorile variabilei criteriu (r 0.75).

B. Daca din populatia P este selectat grupul celor cu scoruri mari la test, multimea valorilor predictorului se restrang si corelatia scade (r 0.28).

C. Restrangerea multimii valorilor variabilei criteriu are efecte similare (r 0.30).

D. Daca se selectioneaza persoanele si in functie de predictor si in functie de criteriu, corelatia se apropie de zero (r 0.09).

In concluzie, problema restrangerii multimii i-a facut pe unii specialisti in teoria testelor sa recomande utilizarea validarii predictive pentru testele care servesc la prognoza si a validarii concurente pentru testele aplicate in scop de diagnoza. De exemplu, se va efectua validarea concurenta daca testul trebuie sa ne permita sa raspundem la intrebarea "Este Z nevrotic - si se va realiza validarea predictiva, daca ne intereseaza sa raspundem la intrebarea "Este de asteptat ca Z sa devina nevrotic?" (Murphy SI Davidshofer 1991).

Coeficientul de validitate al unui test, conform definitiei din majoritatea lucrarilor de teoria testelor, este egal cu coeficientul de corelatie liniara intre scorurile testului si rezultatele unei masuratori considerate drept variabila criteriu. Unii autori (Lord & Novick, 1968) inteleg prin coeficient de validitate valoarea absoluta a coeficientului de corelatie liniara; alti autori (Cureton,1955) impun calculul coeficientului de corelatie intre scorurile observate la test si scorurile reale ale variabilei criteriu.

In literatura de specialitate exista si recomandarea de a calcula coeficientul de validitate folosind alti indici in locul coeficientului de corelatie liniara. Anastasi (1976) propune ca atunci cand testul si criteriul sunt variabile continue, validitatea sa se calculeze prin formula coeficientului de corelatie liniara, iar in celelalte cazuri, sa se foloseasca alte tipuri de coeficienti. Cronbach (1966) permite calcularea validitatii relative la criteriu cu ajutorul coeficientului de corelatie a rangurilor; de remarcat ca, daca regresia dintre test si criteriu este o functie monotona crescatoare, coeficientul de corelatie a rangurilor are o valoare apropiata de 1, deci testul este valid in sensul lui Cronbach.

Unii autori (Hammond, 1995) recomanda ca validarea unui test relativa la criteriu sa utilizeze mai multe variabile criteriu, dintre care unele nu au legatura cu ceea ce testul masoara sau prezice. Acestea servesc la verificarea specificitatii testului. Este de dorit ca testul sa nu coreleze cu ele.

c. O alta posibilitate de cercetare a validitatii unui test relativa la criteriu utilizeaza doua grupe contrastante de subiecti, formate pe baza valorilor criteriului: una este compusa din indivizi cu rezultate foarte bune, cealalta din persoane cu rezultate foarte slabe. Se compara statistic mediile scorurilor obtinute la test de persoanele din cele doua grupe si se apreciaza ca testul este valid relativ la criteriu daca mediile difera semnificativ. La un prag de semnificatie fixat (Anastasi, 1 976). Aceasta metoda se aplica mai ales atunci cand variabila criteriu este calitativa, deci nu se poate calcula coeficientul de corelatie liniara - si atunci cand criteriul este compus din mai multe variabile, cantitative si /sau calitative (de exemplu, intr-o selectie profesionala criteriul poate consta din cateva teste de aptitudini, un interviu si referinte de la ultimul loc de munca).

3. Eroarea standard a estimarii, SEE

Formula de calcul utilizata pentru eroarea standard a estimarii este:

SEE = Sdy - rxy2

In formula:

unde Sd deviatia standard la scorurile obtinute la criteriu

si rxy2, patratul valorii coeficientului de validitate

daca rxy = maxim 1, atunci SEE = 0, deci o certitudine de 100% privind comportamentul subiectului in viitor

daca rxy = 08.0, atunci SEE = Sdy, deci criteriul folosit de cei care au utilizat testul.

De exemplu, daca rxy = 0.80, SEE = 0.36, anticiparea pozitiei ocupate de subiect este mai mare cu 36% decat daca s-ar face din pura intamplare.

4. Aspecte privind interpretarea validitatii; matricea progresiva Messick

Se apreciaza ca un test are validitate de criteriu buna atunci cand coeficientul de validitate este mare.

Valoarea coeficientului de validitate evidentiaza gradul in care randamentul la test coreleaza cu rezultatele la criteriu:

Valoarea coeficientului este influentata de o serie de factori avand in vedere ca, de regula, mai ales cand apelam la modalitatea predictiva, exista o durata de timp intre cele doua serii de masuratori. In orice caz, doua aspecte sunt implicate:

- natura si specificul grupului (varsta, sex, pregatire profesionala..)

- caracter omogen sau eterogen al esantionului (val. coeficientului de corelatie e mai mare)

Majoritatea considera ca valoarea corelatiei trebuie sa fie suficient de mare pentru a fi semnificativa la un prag de 0.01 - 0.05

In experienta obtinuta, valoarea coeficientului de validitate predictiva al unui test este cuprinsa intre 0 si 0.60, in majoritatea cazurilor fiind situata in partea inferioara a intervalului (Guilford, 1965).

Se pot obtine valori mari ale coeficientilor de validitate atunci cand testul predictor reproduce o situatie din criteriu (de exemplu, daca se da un test de aptitudini matematice unor studenti de la Politehnica). Din contra, atunci cand testul se refera la atribute dificil de evaluat prin orice fel de date non-test (de exemplu, adaptarea sociala si emotionala. creativitatea etc.) coeficientii de validitate iau valori mai mici decat 0.30 (L. J. Cronbach, C. Gleser. dupa Silva, 1993)

C.L. Hull (Guilford, 1965) a impus conditia ca un test sa fie utilizat in practica doar daca are un coeficient de validitate mai mare decat 0.45; aceasta cerinta este insa greu de realizat. Un test bun rareori poate da, cu un criteriu important, un coeficient de corelatie mai mare decat 0.5 (Murphy & Davidshofer, 1 991).

Putem face observatia, din aceasta perspectiva ca, paradoxal, un test ideal din punctul de vedere al validitatii este cel ai carui itemi masoara, fiecare, un alt factor; deci este un test cu consistenta interna scazuta.

Posibilitatea de a anticipa pozitia persoanei in raport cu un criteriu este relativ redusa. se are in vedere un fel de barem - standard minim in raport cu care putem anticipa daca subiectul va depasi acest minim. Cand vorbim de validitate, in practica se pune si problema utilizarii mai multor teste, a unei baterii de testare. Acest aspect pune probleme semnificative de calcul in functie de care putem anticipa pozitia ocupata de subiect in privinta unui anume criteriu. Prin proceduri speciale, putem ajunge la compensarea rezultatelor si configurarea valorii globale a validitatii bateriei de teste si in baza acestei valori putem forma judecati predictive.

In ultima decada a secolului trecut, validitatea este privita ca un rationament evaluator integrativ, legat de gradul in care dovezile empirice si ratiunile teoretice sprijina aspecte precum adecvarea interpretarilor si adecvarea actiunilor bazate pe scorurile la teste.

Termenul de scor trebuie inteles in sens larg, respectiv ca orice codare sau rezumare a consistentelor observate, sau a regularitatilor in performanta la un test, chestionar, procedura de observare sau alte instrumente de evaluare) precum esantioane de activitati profesionale, simularile ale unor probleme reale etc.) fie cantitative fie calitative. Din aceasta perspectiva cuprinzatoare, validitatea se aplica si la protocoale, la interpretari clinice, rangari de comportamente sau performante, la studiul muncii si a criteriilor de performanta in munca. In acest sens, scorurile nu pot fi limitate la consistenta comportamentelor si caracteristicilor persoanei (de tipul clasic , persistenta sau abilitatea). Scorurile se pot referi si la consistente functionale si la atribute ale grupelor, situatiilor sau mediilor, obiectelor sau institutiilor.

In orice situatie in care se evalueaza oricare dintre aceste constructe - caracteristici ale persoanei, ale grupului, obiectelor, situatiilor - trebuie avuta in vedere, in mod sistematic, validitatea dar si alte masuratori precum fidelitatea, comparabilitatea, corectitudinea. Aceste masuratori si actiunea de a evalua aceste aspecte nu reprezinta doar principii de masurare ci, in sens larg, valori sociale care au inteles si forta si in afara masurarii propriu-zise, atunci cand se fac judecati de valoare si decizii. Din aceasta perspectiva, validitatea are nu numai valoare stiintifica, ci si socio-politica.

Validitatea nu inseamna un simplu scor de corelatie intre valorile la test, sau la test vs. criteriu, sau evaluarile expertilor privind masura in care continutul testului este relevant sau nu pentru utilitatea testului. Validitatea este si o evidenta a consecintelor reale si potentiale ale utilizarii actiunilor de interpretare a scorurilor testului si de utilizare a informatiilor astfel obtinute.

O serie de cercetatori importanti, precum S. Messick (Foundations of validity; meaning and consequences in psychological assessment) muta centrul de greutate asupra acestui din urma aspect. Ei sustin ca ceea ce trebuie validat nu este numai testul sau instrumentul de observare ca atare, ci inferentele derivate din scorurile la test (sau la alti indicatori). Aceste inferente privesc intelesul scorurilor sau interpretarii si implicatiile practice, implicatiile pentru actiunile ce vor urma acestor interpretari. Astfel privita, validitatea testului este o 'evaluare empirica a intelesului si consecintelor masuratorii efectuate. Validitatea combina cercetarea stiintifica cu argumentul rational (teoretic) pentru a justifica sau anula interpretarea unui test si utilizarea lui'.

Autorul dezvolta un model integrativ al validitatii unificate in care demonstreaza ca, in esenta, adecvarea, intelesul si utilitatea informatiilor bazate pe scorurile la test sunt inseparabile. Intentia sa este de a permite dezvaluirea aspectelor functionale ale validitatii, care pot sa ajute la relevarea unora dintre complexitatile inerente in evaluarea adecvarii, intelesului si utilitatii inferentelor bazate pe scoruri.

Considerarea validitatii ca un concept unitar si integrativ nu inseamna ca, la nevoie, validitatea nu poate fi diferentiata conform fatetelor ei si scopurilor masurarii: consecintele sociale ale testarii, rolul intelesului scorului pentru utilizarea aplicativa a testului.

Pentru Messick, un cadru unificator distinge intre doua dimensiuni interconectate ale validitatii ca si concept unitar:

sursa de justificare a testarii prin evaluarea fie a dovezilor care sprijina intelesurile scorurilor, fie a consecintelor ce contribuie la valoarea scorului;

cealalta dimensiune este functia sau rezultatul testarii, fie utilizarea ca interpretare, fie ca aplicare directa.

Utilizand cele doua dimensiuni, Samuel Messick construieste urmatoarea matrice progresiva privind interpretarea validitatii:

Autorul considera ca cele patru cerinte corespund celor 4 aspecte fundamentale ale validitatii. Astfel putem evalua in ce masura, pe baza dovezilor si a ratiunilor teoretice, scorurile la test ar trebui interpretate si utilizate in modul propus:

Ce echilibru de dovezi sustine interpretarea sau intelesul scorurilor?

Ce dovada sprijina nu numai intelesul scorului ci si relevanta scorului pentru scopul aplicativ particular?

Ce face ca implicatiile valorice ale interpretarii scorurilor sa fie credibile si, asemenea, toate implicatiile asociata privind modalitatile de actiune?

Ce semnifica valoarea functionala a testarii din perspectiva consecintelor ei intentionate sau ne-intentionate?

Fundamentul pentru evaluarea dovezilor privind interpretarea testului este validitatea de construct.

In ceea ce priveste utilizarea testului fundamentatul doveditor este validitatea de construct cu specificarea ca dovezile fie includ, fie trebuie intarite cu dovezi specifice privind relevanta scorurilor pentru scopul aplicativ si pentru utilitatea lor in circumstantele de aplicare.

Fundamentul pentru consecintele interpretarii testului il reprezinta evaluarea implicatiilor intelesurilor scorului, incluzand uneori implicarea denumirii constructului, teoriei largite care conceptualizeaza proprietatile constructului si ramificatiile relationale ale intelesului constructului si ideologia mai larga care da teoriei scop si perspectiva (de exemplu ideologia referitoare la natura umana ca invatare, adaptare etc.).

Deseori, denumirea constructului revela atitudinea latenta a cercetatorului fata de importanta acestuia, atitudine care este mai degraba dependenta de ideologie decat de dovezile experimentale. Implicatiile valorice ale interpretarilor scorurilor apar astfel nu numai ca o parte a intelesului scorurilor, ci si o parte cu relevanta sociala care poate facilita sau impiedica actiunile bazate pe scoruri si poate servi la intelegerea relatiei dintre masurarea constructului si problemele practicii aplicative si a politicilor sociale.

Fundamentul pentru consecintele utilizarii testului il reprezinta evaluarea atat a consecintelor sociale potential, cat si a celor reale, consecintele circumstantelor in care se aplica testul. O modalitate de evaluare a efectelor secundare posibile este compararea beneficiilor si riscurilor utilizarii testului propus cu aspectele pro si contra alternative.

Aceasta perspectiva multipla evidentiata prin matricea progresiva elaborata de autorul american permite o examinare deschisa, clara a valorii fiecarei componente propuneri posibile privind testarea psihologica cu anumite teste. Ceea ce conteaza nu este pur si simplu faptul ca unele consecinte sociale ar putea invalida testul ci faptul ca unele consecinte sociale adversive nu ar trebui atribuite nici uneia dintre sursele de invalidare a unui anume teste avut in vedere (de exemplu, posibilitatea irelevantei constructului).

De exemplu, contrapropunerile la un anume test propus ar putea implica tehnici de evaluare destul de diferite, sau ar putea servi scopului avut in vede in alte modalitati (, cand se pune problema productivitatii muncii, in loc de selectia cu ajutorul testului, ar putea interveni formarea si antrenamentul).

In matricea lui Messick, validitatea de construct care apare in fiecare dintre celule este acea forta integrativa care uneste problemele validitatii intr-un concept unitar. In acelasi timp, putem distinge si fatetele care reflecta justificarea testului si functia testului. Formele de dovezi se schimba si se compun pe masura ce ne miscam de la evaluarea dovezilor privind interpretarea constructului in sine, la evaluarea dovezilor privind bazele rationale ale utilizarii testului, spre evaluarea consecintelor valorice ale interpretarii scorurilor ca baza pentru actiune si, in final, la evaluarea consecintelor sociale, respectiv la valoarea functionala a utilizarii testului.

Din aceasta perspectiva de integrare progresiva, in procesul de validare se impletesc atat intelesul testului cat si valoarea lui, atat interpretarea testului cat si utilizarea lui.