Divergentele de notare si sursa acestora

Divergentele de notare si sursa acestora

1. Date experimentale: divergente in notare

Studiile de docimologie experimentala - inaugurate inca de H. Pieron cu opt decenii in urma - scot in evidenta fenomenul divergentei de notare. Se utilizeaza metoda evaluarii si notarii multiple, plecandu-se de la raspunsuri orale fixate pe banda de magnetofon, ca si de la lucrari scrise multiplicate (la xerox). Unul si acelasi lot de raspunsuri orale, respectiv probe scrise/practice sunt supuse aprecierii si notarii de catre acelasi grup de examinatori. In consecinta, unul si acelasi produs scolar este notat simultan de mai multi profesori, de aici denumirea de evaluare multipla. Pe canavaua acestei metode sunt brodate apoi variante experimentale. Exemple:

Un lot de 20 examinari orale inregistrate pe banda magnetica au fost ascultate de 16 profesori de liceu si notate de fiecare in parte. Media notelor atribuite prezinta fluctuatii de la un profesor la altul pe intinderea de 5 puncte (M. Reuchlin).

Doi profesori A si B examineaza la istorie si geografie, acordul lor apare la 70% din elevi, 30% din candidatii admisi de A sunt respinsi de B si invers (H. Pieron).

Lucrurile stau la fel cand se compara notarile aceluiasi profesor in momente diferite. Exemplu:

14 profesori de istorie sunt invitati sa noteze pentru a doua oara 15 lucrari verificate de ei cu un an in urma: in 44% din cazuri notele au fost altele fata de prima corectare (H. Pieron).

Primele studii de docimologie, scotand in relief divergentele de notare, au atribuit intamplarii acest fenomen, tratandu-le ca erori de notare, in sensul dat "erorii' de catre teoria masurii din fizica. In consecinta, s-a vorbit de o nota "adevarata' in jurul careia oscileaza notele reale, fluctuatiile fiind aleatoare. S-a pus atunci intrebarea asupra numarului necesar de examinatori in masura sa duca la stabilizarea notei. Dupa datele obtinute de H. Pieron in cadrul unei experiente, numarul minim de evaluatori era respectiv de 78 pentru literatura, 19 pentru latina, 28 pentru limba engleza, 13 pentru matematici, 16 pentru fizica s.a.m.d. Se considera, bineinteles, ca media acestor note la fiecare materie de invatamant ar reprezenta valoarea adevarata. Fireste o asemenea incercare poate avea loc intr-un experiment, dar nu in practica scolara obisnuita.

Cercetarile ulterioare arata ca variatiile de notare au la baza surse sistematice, care pot fi dezvaluite, procedand treptat la reducerea efectelor acestora. Pe de alta parte, intrebarea asupra "notei adevarate' este lipsita de sens, ea ne plaseaza in regim de "indecidabil' pentru ca nu se poate iesi total din cadrul dat (nota subiectiva a evaluarii), nu ne putem situa in deplina exterioritate. Operational, problema este de a reduce divergentele de notare, de a gasi tehnici care sa faca evaluarea independenta de examinatori, ceea ce inseamna a afla metode care sa sporeasca simtitor acordul dintre profesori. A face ca notarea sa devina independenta de examinator echivaleaza cu asigurarea obiectivitatii. Fireste aceasta este o limita spre care tindem fara sa devina practic deplin tangibila. Nu putem iesi din relativ; un nucleu de conventie ramane prezent intotdeauna.

2. Metode de reducere a divergentelor in notare

Pentru a satisface cat mai mult cerintele de obiectivitate se propun ca tehnici :

- introducerea de bareme de notare;

- armonizarea pe baza de indici statistici a scarilor individuale de   notare;

- testul docimologic.

Se vede ca accentul se pune de acum pe notare ca expresie externa a actului de evaluare.

2.1. Baremul este o grila de evaluare si notare unitara, care descompune tema in subteine si prevede un anumit punctaj - prin consensul profesorilor - pentru aceste subteme. Punctajul se insumeaza in final si se echivaleaza in note scolare obisnuite. Esential este aici unitatea de conceptie si de procedura in actul de evaluare.-Exemplu (dupa V. Goia):

Pentru a verifica gradul de stapanire a unor termeni de teorie literara - in clasa a X-a - profesorul alege cateva notiuni de baza: gen epic, gen liric, romantism, metafora, pastel, meditatie, mit. Asupra acestora insista la lectii servindu-se de dictionare si de manual, apoi alcatuieste proba de verificare formata din 5 subteme, fixand urmatoarele punctaje :

Definiti 7 termeni literari.'.      7p.

2 Recunoasteti figurile de stil din versurile "Batrane Olt! - cu buza arsa / iti sarutam unda carunta'..      4p.

3 Dati exemple de epitete si comparatii intalnite in operele literare studiate (4 exemple).     4p.

4 Indicati specii literare ce apartin genului epic si liric (cate trei exemple)      6p.

5 Enumerati etapele mai importante in dezvoltarea literaturii romane si dati exemple de scriitori care se includ in aceste etape..     9p.

Timp de lucru 35 minute                                                30p.

In practica, exista si lucrari de tipul compozitei (eseuri), care comporta o tratare mai personala in functie de modul in care tema este perceputa de elev; asemenea lucrari nu se preteaza la o evaluare si notare numerica pe baza unui barem. Se poate stabili si in acest caz o grila de apreciere comuna, dar actul de evaluare nu mai prezinta stabilitate in notare, respectiv acordul profesorilor in ceea ce priveste punctajul atribuit - decat intr-o masura mai mica. Aditivitatea criteriilor de apreciere este incalcata, fiind vorba de o apreciere globala. Exemplu (dupa D. Muster, 1970):

Pentru satisfacerea sarcinilor de continut se atribuie pana la 6 puncte, adaugandu-se pana la un punct pentru modul de sistematizare (plan clar, desfasurarea logica si cursiva).

Referitor la insusirile de forma, pentru stilul lucrarii se acorda pana la 1-1,5 puncte, iar pentru aspectul de prezentare grafica (materiala) se acorda pana la 1/2 puncte.

Se rezerva un punct pentru elementul de originalitate, "sensibilitate', pentru impresia de perfectie.

Aceste norme se incadreaza in sistemul de notare de la l la 10.

In cazul aplicarii de bareme - indicate la scara individuala si de grup restrans de profesori -procedura optima comporta o desfasurare in trei timpi: in prima etapa se face o evaluare si notare individuala a unui numar de raspunsuri/lucrari scrise sau produse practice, in faza a doua se trece la elaborarea - pe baza discutiei colective - a unui barem, adica a unei grile comune de evaluare, care sa descompuna tema in subteme si sa stabileasca punctaje diferentiate pe subteme si alte aspecte relevante (stil, element de creativitate etc.). Odata baremul stabilit, se face cu titlu de exercitiu evaluarea si notarea catorva probe, comparandu-se fiecare produs, respectiv nota in parte. In cea de-a treia eiapa, pe baza grilei de notare intocmite in comun, se procedeaza la aprecierea in mod individual a intregului lot de "productii' scolare. Cand se propune un barem extern, acesta trebuie trecut, de asemenea, prin discutie colectiva, devenind operant dupa insusirea sau "interiorizarea' sa de catre examinatori (Bonniel, Caverni si Noizet, 1972). Reducerea divergentelor in notare in cadrul procedurii amintite, este atestata experimental prin calcularea unui coeficient de concordanta (indicele W propus de Kendall).1

2.2. Armonizarea scarilor de notare. La nivelul unui colectiv didactic mai numeros se poate face

O  analiza si o reducere a divergentelor de notare pe baza unor indicatori statistici. Luand drept cadru o experienta de evaluare si notare multipla, divergentele dintre notarile examinatorilor vor apare pe ansamblu prin trei aspecte: (a) forma curbelor de distributie a notelor; (bj modul de centrare, adica zona de maxima densitate si (c) amplitudinea sau intinderea scarii utilizate. Pe orizontala vor fi marcate intr-un grafic (figura

Notele de la l la 10, iar pe verticala frecventa notelor acordate in cadrul experientei. Se intocmeste cate o curba pentru fiecare examinator, redand modul in care se distribuie notele acordate elevilor din grupul cuprins in experienta. Forma curbei cu asimetrie catre notele mari (curba G) sau spre notele mici (curba A), ne va indica indulgenta, respectiv severitatea notarii, in raport cu o distributie echilibrata, simetrica, marcata prin B. Putem intalni si curbe bimodale, cu doua'varfuri (A), care ridica semne de intrebare asupra clasei sau a notarii. Nivelul la care se plaseaza media notelor - ceea ce corespunde densitatii maxime - ne indica centrarea distributiei. In sfarsit, se va vedea ca unii profesori dau note numai intre 6 si 10 (curba C), in timp ce altii folosesc intreaga scara de notare.

Pornind de la aceasta "asamblare statistica', se poate pune problema armonizarii scarilor de notare individuale, apropiind pana la suprapunere indicatorii lor statistici.

2.3. Testul docimologic. in mod obisnuit, un test de cunostinte este format dintr-un grupaj de intrebari sau teme - numite in limbaj tehnic itemi - care acopera o tema, un capitol ori o parte mai intinsa din programa si asigura conditiile unei notari mai obiective, independente de evaluator. Fiind, in esenta, o tehnica de verificare frontala - ca si probele scrise - testul docimologic nu tine de mijloacele curente de verificare a cunostintelor. El este indicat - in actuala organizare a muncii la clasa - pentru verificari cu caracter periodic suficient de spatiate in timp, apoi la incheierea unor capitole, la examene, in conditiile unui deficit de timp (de pilda, la invatamantul seral), etc. Furnizand o informatie asupra intregii clase, respectiv a gradului de insusire a unui capitol, testul docimologic evidentiaza - ca si lucrarile scrise - lacune sau greseli caracteristice in functie de care se trag apoi concluzii privind procesul predarii in continuare, in principiu, ceea ce in momentul proiectarii actiunii instructiv-educative apar ca obiective, urmeaza sa se gaseasca la incheierea actiunii ca rezultate. Testul docimologic - ca orice mijloc de verificare - are menirea sa ateste obtinerea acestor rezultate. in consecinta, el va fi proiectat astfel incat sa acopere obiectivele prefigurate.

Rezumam , testul de cunostinte :

.     grupaj de intrebari sau teme - numite itemi - care sa raspunda unui set de sarcini intelectuale si practice;

.     reuneste teme (itemi), care sa dezvaluie ce stie elevul ca informatie si ce stie sa faca, deci priceperi, deprinderi, operatii;

. prevede un barem de notare, care da o nota mai obiectiva evaluarii, adica reduce divergentele de notare.

Desi ia forma unei probe scrise sau practice, testul docimologic este mai mult decat acestea; el este organizat pe un spectru de sarcini intelectuale/practice si prevede un punctaj pe subteme.

Exista teste initiale, prevazute la inceput de capitol, de semestru sau de an scolar pentru a defini momentul de start intr-un proces de instruire. Sunt apoi teste de progres, inserate pe parcurs in raport cu obiectivele inscrise in programe, obiective exprimate adesea in termeni de continut. In sfarsit, se vorbeste de teste finale, de sinteza, plasate la incheierea semestrului sau anului scolar.

Constructia testului. Se prevede o mare varietate de sarcini, respectiv de itemi, din care se poate compune un test. Dintre acestea mentionam, in continuare, cateva tipuri mai frecvente.

(a) Teme de simpla atestare a stapanirii unei informatii (din memorie), cum ar fi enuntul unei definitii, reguli, teoreme sau redarea unei descrieri, a unei clasificari etc. Aceasta "restituire' de infonnatie poate lua forme diferite:

itemi de formulare completa (a unei definitii, clasificari);

itemi de completare de spatii goale in propozitii, de adnotare a unui desen, de intregire a

elementelor unei harti - contur (desen lacunar);

itemi cu raspunsuri la alegere (itemi binari sau cu alegere multipla);

itemi de potrivire sau de asociere, in care unui set de enunturi - sarcina ii corespunde o lista de>

raspunsuri dispuse in mod aleator, cerandu-se precizarea corespondentelor;

itemi de grupare/clasificare ce pot lua forma tabelara (cu completare de rubrici) sau simple

grupaje de elemente (de exemplu la botanica).

Tabelul LX.

(b) Teme de aplicare a informatiei in sarcini de recunoastere si clasificare pe un material inedit: judecati asupra apartenentei la o clasa/grupare si motivarea de rigoare, itemi de grupare / clasificare in situatii noi luand forma tabelara sau grafica (exemplul de mai sus ).

(c)  Teme de angajare a efortului de gandire, de rezolvare de probleme: pot lua forma interpretarii unui text, a comentarii acestuia, apoi dezvaluirea si analiza unei relatii cauza-efect, care poate merge pana la precizarea dependentei functionale (in expresie grafica), de asemenea reunirea unui grupaj de evenimente/fapte sub aceeasi teza, regularitate, principiu etc. Un loc important il ocupa rezolvarea de probleme la matematica, fizica, chimie etc., care cunosc o larga gradatie de dificultate. Pot fi asimilate rezolvarii de probleme si teme de analiza literara, gramaticala, de recunoastere a unei plante inca nestudiate etc.

(d)  In sfarsit merita a fi mentionate temele de integrare sau stabilire de corelatii in cadrul unui capitol ("asociatii locale') ori intre capitole diferite, apropiate sau distantate in timp ("asociatii sistemice' si "asociatii intersistemice').

in mod corespunzator si punctajul sau aprecierile vor fi diferite in functie de sarcinile de simpla reproducere (informare) sau sarcini de rationament, de valorificare a cunostintelor intr-un context apropiat de cel de la lectii sau in conditii net deosebite, intrebarile trebuie sa fie discriminative, adica sa separe destul de net pe cei buni si pe cei slabi, sa distinga net grupele extreme.

Enumerarea facuta nu epuizeaza nici pe departe intreaga gama de sarcini/itemi, care pot fi incluse intr-un test docimologic.

Intocmirea unei probe de cunostinte ia ca reper orientativ cerintele programei analitice. Obiectivele operationale se stabilesc, de regula, in termeni de continut, numai ca gradul de detaliere al temelor in programa este insuficient. Spre exemplu, notiunea de logaritm, indicata in programa, nu specifica inca evantaiul achizitiilor ce trebuie stapanite in final de elev (definitii, proprietati, aplicatii etc.). Acestea se stabilesc pe baza de experienta, deci pe baza unui material practic, ceea ce face sa difere volumul de sarcini si varietatea lor de la un profesor la altul, de la o clasa la alta (in functie de compozitia ei), desi se cere, in principiu, sa se asigure acoperirea domeniului circumscris in obiectivele predarii temei (capitol, curs etc.). Evident, acest volum de sarcini nu poate fi decat un esantion din ansamblul de informatii si deprinderi prevazute prin obiectivele operationale. Problema de fond este aici aceea a stabilirii unui continut reprezentativ.

Itemi cu alegere multipla. O mare raspandire au capatat testele cu raspuns la alegere, care se preteaza la examinare asistata de ordinator. Se prevede in acest caz si un mod de penalizare pentru sansa de a ghici raspunsul corect prin simpla intamplare. Raspunsurile gresite oferite spre alegere trebuie cautate in colectia de greseli tipice facute in mod curent de elevi, deci greseli plauzibile. Cand se ofera, de pilda, la o intrebare trei alternative pentru alegere, sansa de a nimeri raspunsul exact pe baza de hazard este de 1/3. Daca notam cu N numarul de alternative, care este de regula intre 2 si 5, sansa este data de raportul l/N. Cum un test contine mai multe intrebari cu asemenea alegeri din N alternative la fiecare intrebare, sansa de a nimeri din intamplare raspunsul corect scade vertiginos, dupa cum iese din calculul probabilitatilor pe baza distributiei binomiale a lui Bernoulli. in tabelul 2.X. se dau - dupa G. Mac si V. Muresan (1974) - probabilitatile de a nimeri din intamplare 1-10 raspunsuri corecte, pentru N = 2 si N = 5 .

Se observa ca in cazul unui grup de 10 intrebari pentru N = 5 notarea se poate face pur si simplu prin numarul de raspunsuri corecte, abaterea fata de nota obtinuta cu formula de mai sus fiind de circa l punct in domeniul notelor mici. Pentru N = 2, probabilitatea maxima este atinsa la 5 raspunsuri corecte si in acest caz este obligatorie folosirea formulei mentionate.

Notam ca, intr-un sens mai riguros, adica in sens psihometric, testului i se asociaza un etalon , care este un barem numeric, o scala cu repere numerice, stabilita prin examinarea cu aceeasi proba si in aceleasi conditii a unei colectivitati mai largi, numita colectivitate de referinta. Din examinarea acestei colectivitati se extrage scala de raportare. Evaluarea, respectiv notarea, se face prin situarea fiecarei lucrari individuale in cadrul de clasificare oferit de scala de repere (valori) numerice stabilita asupra colectivitatii de referinta. Asemenea probe standardizate, insotite de un etalon le numim probe normalizate si sunt mai putin raspandite in practica scolara. Testele docimologice curente reprezinta, intr-un fel, probe standardizate sub aspectul continutului si al modului de aplicare si notare, dar ele nu cuprind si elementul etalonarii .

Tabelul 2.X.

Prin etalonare se intelege operatia de aplicare a unei probe la un grup de referinta si extragerea unei scale de raportare, stabilirea de norme (barem numeric).

Dupa G. Niac si V. Muresan (1974)

In incheiere, trebuie spus ca testul docimologic reprezinta un mijloc de verificare si evaluare alaturi de altele si ca, pe langa calitatile mentionate, prezinta unele dezavantaje, printre care mentionam faptul ca ele surprind o cunoastere fragmentara si capacitati limitate de elaborare, de rationament si exprimare.