Dimensionarea esantioanelor in cercetarile psihologice

Dimensionarea esantioanelor in cercetarile psihologice

Una dintre cele mai frecvente intrebari pe care (si) le pun studentii sau tinerii aflati in faza de proiectare a unei lucrari de cercetare este "cat de mare trebuie sa fie esantionul?". Din pacate, nu exista un raspuns simplu si nici foarte precis la aceasta intrebare. Marimea esantionului decurge, inainte de toate, din constrangerile situatiei de cercetare. Atunci cand tema cercetarii vizeaza situatii rare (de exemplu, studii pe gemeni univitelini; modificari neuropsihice la pacienti cu leziuni cerebrale cu o anumita localizare; subiecti care practica profesii speciale etc.) volumul esantionului este in mod inevitabil mic, ceea ce nu inseamna ca trebuie sa renuntam la cercetare.

Excluzand situatiile in care suntem constransi de "raritatea" subiectilor care intrunesc conditiile de studiu, dimensionarea esantionului se face pe baza a doua criterii fundamentale: tipul testului statistic ce urmeaza a fi utilizat si obiectivele analizei statistice.

1. Volumul esantionului recomandat in diferite procedurilor statistice

Recomandarile de mai jos au un caracter practic, dar se bazeaza pe doua concepte

fundamentale ale statisticii inferentiale: marimea efectului (marimea diferentei sau intensitatea asocierii dintre variabile) si puterea testului (probabilitatea de a obtine un rezultat statistic semnificativ). Tendinta actuala in cercetarea stiintifica este de a se depasi optica simplista a deciziei statistice prin limitarea la pragul alfa.

Reputatul statistician si psihometrician Jacob Cohen, intr-un articol intitulat "Things I Have Learnd (So Far)" (1990) isi aduce aminte cum a invatat, in facultate, ca pentru a compara doua grupuri trebuie utilizate esantioane de 30 de subiecti, orice esantion mai mic de 30 fiind considerat "esantion mic". Mai tarziu, cand a descoperit analiza de putere, a constatat ca atunci cand se compara doua grupuri de cate 30 de subiecti fiecare, pentru un prag alfa=0.05, probabilitatea ca o diferenta avand o marime medie a efectului sa atinga pragul de semnificatie, este de 0.47. Cu alte cuvinte, din 100 de cercetari, abia in 47 de situatii (mai putin decat daca decizia ar fi luata aleator) s-ar obtine un rezultat care sa nu fie doar semnificativ, dar sa si aiba o marime a efectului (relevanta) cel putin medie. Iar daca volumul esantionului este de numai 20 de subiecti, atunci probabilitatea respectiva se reduce la 0.33.

In mod evident, numarul subiectilor are un impact direct asupra puterii testului, adica asupra capacitatii acestuia de a detecta diferente "reale". Marimea efectului, la randul ei, se refera la intensitatea asocierii (diferentei) dintre variabilele cercetarii (Kraemer & Thiemann, 1987). Ceea ce rezulta de aici este faptul ca alegerea marimii esantionului, in contextul diferitelor modele de cercetare, este un fapt care trebuie tratat cu multa atentie, daca dorim sa asiguram cercetarilor noastre consistenta sub aspectul puterii si al marimii efectului. Desigur, ar fi de preferat ca aceste doua aspecte sa faca obiectul unor evaluari cantitative speciale dar, din pacate, majoritatea pachetelor de programe statistice nu ofera astfel de proceduri. In practica, o modalitate multumitoare de rezolvare a acestei probleme este dimensionarea corespunzatoare a esantioanelor, cu copul de a asigura atingerea unor valori acceptabile pentru puterea testelor statistice. In acest sens, o incursiune in literatura statistica (Wolins, 1982; Kraemer & Thiemann; 1987; Wilkinson, 1999) ne ofera o serie de recomandari utile.

a. Volumul grupurilor pentru testele utilizate in detectarea diferentelor dintre medii

Toate testele statistice care detecteaza diferentele dintre grupuri se bazeaza pe o anume distributie de esantionare. Ca urmare, numarul subiectilor din fiecare esantion are o legatura directa cu imprastierea distributiei de esantionare (eroarea standard). Cu cat mai multi subiecti in esantion, cu atat imprastierea distributiei de esantionare este mai mica si sansa de a descoperi o diferenta semnificativa este mai mare (ceea ce inseamna si o putere a testului mai mare). Dar puterea nu este legata numai de marimea esantionului, ci si de marimea efectului. Pe masura ce marimea efectului creste, creste si puterea testului. De exemplu, daca dorim sa testam efectul unei psihoterapii dupa doua sedinte, cand efectul este mic, testul statistic va avea "putere mica", adica va avea sanse mai reduse sa releve un efect semnificativ decat, sa zicem, dupa 12 sedinte, cand efectul terapeutic va fi mai pronuntat.

Testul statistic t (Student) pentru esantioane independente sau pentru esantioane dependente, analiza de varianta (ANOVA one-way sau factoriala), la fel ca si analiza de varianta multivariata (MANOVA), sunt concepute pentru verifica semnificatia diferentelor dintre mediile unor grupuri. Pentru a mentine un nivel acceptabil pentru puterea testului, fiecare dintre grupurile comparate trebuie sa aiba un volum minimal, pentru a avea suficienta putere in detectarea diferentelor si, in acelasi timp, un nivel mediu /ridicat al marimii efectului (VanVoorhis & Morgan, 2001). In acest scop, se considera ca 30 de subiecti in fiecare celula (definita prin categoriile variabilei independente) sunt suficienti pentru a garanta o putere de 0.8, ceea ce este un nivel minim pentru un studiu obisnuit (J. Cohen, 1988).

Concret, pentru a avea o putere acceptabila a testului statistic

- Atunci cand sunt comparate mediile a doua grupuri independente, se vor utiliza cel putin 60 de subiecti (minim 30 pentru fiecare grup). In cazul unei cercetari bazate pe un model intra-subiect, in care acelasi grup este masurat in doua (sau mai multe) situatii diferite, este suficient un esantion de minim 30 de subiecti pentru asigurarea unei puteri acceptabile. Acesta este unul dintre avantajele modelului intra-subiect.

- Atunci cand este utilizat testul ANOVA pentru o variabila independenta cu trei valori,

esantionul cercetarii trebuie sa fie compus din cel putin 3x30=90 de subiecti. Daca

numarul de subiecti din fiecare grup se reduce la 7, iar numarul grupurilor este de cel

putin trei, atunci puterea testului scade la 0.5, iar marimea efectului este tot de 0.5. In

cazul in care avem 14 subiecti in fiecare grup comparat, pentru cel putin trei grupuri si o

marime a efectului de 0.5, ne putem baza pe o putere a testului de 0.8.

In legatura cu testele de comparatie a mediilor se atrage atentia, in primul rand, ca atunci cand sunt comparate mai putine grupuri este mai important sa existe mai multi subiecti in fiecare grup. In al doilea rand, cu cat marimea efectului la care ne putem astepta este mai mica, cu atat numarul subiectilor trebuie sa creasca, pentru garantarea unei valori corespunzatoare a puterii testului (Aron & Aron, 1999). In fine, in cazul analizei de varianta multivariate (MANOVA) este important sa existe mai multe cazuri decat variabile independente in fiecare celula definita de valorile variabilei independente (Tabachnick & Fidell, 1996).

b. Marimea esantionului atunci cand se studiaza asocierea variabilelor

Desi calcularea marimii esantionului in astfel de situatii face obiectul unor formule complexe, regula empirica generala este de a nu utiliza esantioane mai mici de 50 de subiecti in cazul analizei de corelatie sau de regresie simpla. In cazul corelatiei si regresiei multiple, in care sunt mai multe variabile independente (criteriu), Green (1991) sugereaza ca volumul esantionului cercetarii sa fie

N>50+8m, unde m este numarul variabilelor independente, pentru corelatii multiple si N > 104+m, pentru regresia multipla.

Concret, pentru o analiza de corelatie multipla cu patru variabile se vor utiliza 50+8x4=82 subiecti, iar pentru o regresie cu 4 variabile criteriu, se va asigura un esantion de minim 104+4=108 subiecti. Atunci cand se urmareste atat testarea corelatiei cat si a regresiei se recomanda esantioane mai mari decat acestea.

In acelasi context sunt recomandate si alte reguli empirice, astfel:

- Pentru 5 sau mai multi predictori (sau variabile multiplu corelate) numarul participantilor va depasi numarul predictorilor cu cel putin 50. Altfel spus, totalul participantilor trebuie sa fie mai mare ca numarul predictorilor cu cel putin 50 (Harris, 1985);

- Pentru ecuatiile de regresie cu sase sau mai multi predictori se impune un minim de 10

participanti pentru fiecare predictor dar, daca situatia o permite, si mai bine este ca sa

existe in jur de 30 de subiecti pentru fiecare variabila. Cohen si Cohen (1975) demonstreaza ca in cazul unei regresii cu un singur predictor care are o corelatie cu

variabila predictor de 0.30, sunt necesari 124 subiecti pentru a mentine o putere de 0.80.

Cu cinci predictori si o corelatie multipla de 0.30, aceeasi putere este atinsa pe un

esantion de 187 subiecti.

O atentie speciala se va acorda simetriei variabilei dependente, deoarece in cazul existentei unei asimetrii, marimea asteptata a efectului este mica si, implicit, puterea testului este mai mica si ea (Tabachnick & Fidell, 1996).

c. Volumul esantionului pentru testul chi-patrat

O regula de siguranta este ca in nici una din celulele tabelului de corespondenta frecventa teoretica sa nu fie mai mica de 5, iar volumul total al esantionului sa nu fie mai mic de 20. In cazul testului chi-patrat, spre deosebire de alte teste statistice, cresterea numarului subiectilor nu are un impact asupra valorii critice de respingere a ipotezei de nul. Totusi, volumul esantionului are un efect asupra puterii testului. Existenta unor frecvente teoretice (asteptate) intr-una sau mai multe celule ale tabelului de corespondenta limiteaza considerabil puterea testului. De asemenea, valori reduse ale

frecventelor asteptate cresc nivelul erorii de tip I. Acesta este si motivul pentru care se recomanda un esantion de cel putin 20 de subiecti (Howell, 1997).

Testul chi-patrat este utilizat pentru testarea gradului de independenta (asociere) dintre

variabile categoriale. Ca urmare, nici un subiect nu trebuie sa contribuie cu mai mult de o singura valoare. La randul lor, gradele de libertate au un anumit impact asupra puterii testului. Cu cat numarul celulelor tabelului de corespondenta creste (ceea ce conduce la cresterea gradelor de libertate), se reduc frecventele teoretice din celulele tabelului de corespondenta si, implicit, are loc o reducere a puterii (Cohen, 1988). Si totusi, atunci cand se asteapta o marime importanta a efectului, se considera ca poate fi tolerata si o valoare mai mica pentru puterea testului, implicit un volum mai redus al esantionului (minim 8).

2. Volumul esantionului in functie de obiectivele analizei statistice

Redam mai jos recomandarile European Federation of Psychological Associations (EFPA,2006) cu privire la volumul esantioanelor utilizate in evaluarea testelor psihologice ca instrumente profesionale. Aceste recomandari vizeaza armonizarea practicilor de licentiere a testelor psihologice si asigurarea unui standard profesional cat mai ridicat pentru activitatea de evaluare psihologica.

Unele dintre situatiile descrise mai jos se regasesc si in situatii de cercetare, atunci cand sunt utilizate instrumente nou create. Recomandari de acelasi gen pot fi gasite si in "Sistemul de evaluare a metodelor psihologice standardizate" adaptat de Comisia Metodologica a Colegiului Psihologilor din Romania dupa modelul olandez (Arne Evers), accesat pe 15.03.2007, la adresa:

https://www.copsi.ro/COLEGIU/COMISII/metodologie/DOCUMENTE/Anexa_3_.doc

a. Dimensiunile esantionului pentru calcularea etaloanelor psihologice

Nota:

• Limitele vor fi adaptate in functie de tipul etalonului. Daca se refera la "populatia generala" atunci volumul esantionului va trebui sa fie "mare". Daca etalonul este calculat pe o populatie ocupationala specifica, atunci volumul esantionului poate fi "adecvat".
• Pentru cele mai multe scopuri, un esantion mai mic de 150 de subiecti este prea mic, deoarece frecventa valorilor spre limitele distributiei va fi foarte mica.

Aprecierea esantionului Volum esantion

Inadecvat     mai mic de 150 subiecti

Adecvat     150-300 subiecti

Mare     300-1000

Foarte mare     peste 1000 subiecti

b. Dimensiunea esantionului pentru studii de validitate de construct

• Validitatea de construct include crelatii ale scalelor cu instrumente similare. Recomandarile pentru coeficientii de validitate de construct trebuiesc interpretati in mod flexibil. Atunci cand avem doua instrumente foarte asemanatoare, trebuie sa ne asteptam la corelatii de 0.6 sau mai mult, pentru ca validitatea sa fie considerata "adecvata". Atunci cand instrumentele vizeaza caracteristici mai putin "asemanatoare", sau sunt administrate la intervale mari de timp, corelatii mai mici de 0.6 pot fi considerate adecvate. Atunci cand corelatiile sunt mai mari de 0.90, se va lua in considerare ca cele doua instrumente masora acelasi construct psihologic si doua constructe diferite, ceea ce ridica problema daca ele aduc informaii diferite in raport cu obiectivul masurarii ;
• Recomandarile pentru dimensiunea esantionului sunt bazate pe analiza de putere a

esantioanelor necesare pentru a surprinde marimi ale efectului moderat.

• Validitatea predictiva si concurenta se refera la studii bazate pe criterii din viata reala (nu pe scoruri obtinute cu alte instrumente) care sunt corelate cu scorurile la test.
• Studiile predictive se refera de obicei la situatii in care evaluarea a fost efectuata intr-un moment "calitativ diferit" de momentul masurarii criteriului (de ex., pentru selectia de personal, durata dintre evaluarea criteriului si a predictorului nu este esentiala, daca cele doua masurari reflecta adecvat caracteristicile masurate).

Apreciere     Volumul esantionului

inadecvat mai mic de 100 subiecti

adecvat 100-200 subiecti

mai mult decat adecvat     peste 200 subiecti

Mediana si amplitudinea corelatiilor dintre test si alte teste similare:

Nota:

• Daca instrumentul este compus dintr-o singura scala, valorile de mai jos se aplica acesteia. Daca instrumentul este compus din mai multe scale, valorile de mai jos se refera la mediana distributiei valorilor tuturor scalelor.
• Daca mediana nu este posibil sa fie calculata, se va lua in considerare cea mai buna estimare a tendintei centrale a valorilor.
• Valorile foarte mari sau foarte mici vor fi comentate in mod distinct.
• Limitele sunt orientative.

inadecvata: r < 0.55

adecvata : 0.55 < r < 0.65

buna : 0.65 < r < 0.75

excelenta : r > 0.75

c. Dimensiunea esantionului pentru studii de validitate de criteriu (prognostica)

Apreciere Volumul esantionului

Inadecvat mai mic de 100 subiecti

Adecvat     100-200 subiecti

mai mult decat adecvat     peste 200 subiecti

Mediana si amplitudinea corelatiilor dintre test si alte teste similare:

inadecvata: r < 0.2

adecvata : 0.2 < r < 0.35

buna : 0.35 < r < 0.50

excelenta : r > 0.50

d. Dimensiunea esantionului pentru studii de fidelitate (consistenta interna)

Nota:

• Recomandarile se bazeaza pe necesitatea de a avea un nivel redus al erorii standard a estimarii fidelitatii.
• Recomandarile sunt facute in legatura cu doua contexte diferite: utilizarea instrumentelor in situatii de decizie (clasificarea subiectilor in categorii); si utilizarea pentru evaluari individuale. In cel de-al doilea caz coeficientul de fidelitate trebuie sa fie mai ridicat decat in primul caz.
• Alti factori trebuiesc, de asemenea, luati in considerare: daca scala se utilizeaza singura sau impreuna cu alte scale (instrument compozit). In cazul scalelor compozite, accentual va fi pus pe scorul compozit si nu pe sub-scalele instrumentului.

Apreciere     Volumul esantionului

inadecvat mai mic de 100 subiecti

adecvat 100-200 subiecti

mai mult decat adecvat     peste 200 subiecti

Mediana coeficientilor

inadecvata:     r < 0.7

adecvata :     0.7 < r < 0.79

buna :     0.80 < r < 0.89

excelenta :     r > 0.90

e. Dimensiunea esantionului in studii de stabilitate test-retest

Apreciere     Volumul esantionului

inadecvat mai mic de 100 subiecti

adecvat 100-200 subiecti

mai mult decat adecvat     peste 200 subiecti

Mediana coeficientilor

Inadecvata : r < 0.6

Adecvata : 0.6 < r < 0.69

Buna : 0.7 < r < 0.79

Excelenta : r > 0.80

f. Dimensiunea esantionului in studii de fidelitate de echivalenta

Apreciere     Volumul esantionului

inadecvat mai mic de 100 subiecti

adecvat 100-200 subiecti

mai mult decat adecvat     peste 200 subiecti

Mediana coeficientilor

Inadecvata : r < 0.6

Adecvata : 0.6 < r < 0.69

Buna : 0.7 < r < 0.79

Excelenta : r > 0.80

Concluzii

Recomandarile sintetizate mai sus ofera un cadru suficient pentru orientarea in situatiile in care nu apelam la analize cantitative riguroase de dimensionarea esantioanelor. Asa cum se poate observa, nu exista o recomandare unica de fixare a dimensiunii esantionului, potrivita pentru orice situatie si orice tip de test statistic. In toate cazurile, cu cat esantionul este mai mic, cu atat scade sansa de a ajunge la un rezultat statistic semnificativ, in conditiile unei marimi "rezonabile" a efectului. In acelasi timp, insa, nu este de dorit nici utilizarea unor esantioane extrem de mari, deoarece in acest caz, riscam sa obtinem un rezultat semnificativ statistic, dar total nerelevant din

punct de vedere practic sau al marimii efectului.

Referinte bibliografice

Aron, A., & Aron, E. N. (1999). Statistics for psychology (2nd ed.). Upper Saddle River, NJ: Prentice Hall.

Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Hillsdale NJ: Erlbaum.

Cohen, J. (1990). Things I have learned (so far). American Psychologist, 45, 1304-1312.

Cohen, J., & Cohen, P. (1975). Applied multiple regression/correlation analysis for the behavioral sciences. Hillsdale, NJ: Erlbaum.

EFPA, 2006, Review Model For The Description And Evaluation Of Psychological Tests, Test Review Form And Notes For Reviewers; (www.efpa.be; accesat la 7 nov. 2006)

Green, S. B. (1991). How many subjects does it take to do a regression analysis? Multivariate Behavioral Research, 26, 499-510.

Howell, D. C. (1997). Statistical methods for psychology (4th ed.). Belmont, CA: Wadsworth.

Harris, R. J. (1985). A primer of multivariate statistics (2nd ed.). New York: Academic Press.

Kraemer, H. C., & Thiemann, S. (1987). How many subjects? Statistical power analysis in research. Newbury

Park, CA: Sage.

Tabachnick, B. G., & Fidell, L. S. (1996). Using multivariate statistics (3rd ed.). New York: HarperCollins.Wilkinson, L., & Task Force on Statistical Inference, APA Board of Scientific Affairs. (1999). Statistical methods in psychology journals: Guidelines and explanations. American Psychologist, 54, 594-604.

VanVoorhis, C. W., & Morgan, B. L. (2001). Statistical Rules of Thumb: What We Don't Want to Forget About Sample Sizes [Electronic Version]. Psi Chi Journal 6. Retrieved 15.03.2007 from https://www.psichi.org/pubs/issue.asp?issue_id=41.

Wilkinson, L., & Task Force on Statistical Inference (1999). Statistical Methods in Psychology Journals: Guidelines and Explanations. American Psychologist(54), 594-604.

Wolins, L. (1982). Research mistakes in the social and behavioral sciences. Ames: Iowa State University Press