EVALUAREA PROGRAMELOR IN ADMINISTRATIA PUBLICA

EVALUAREA PROGRAMELOR IN ADMINISTRATIA PUBLICA

Evaluarea este o practica naturala, intalnita in toate aspectele vietii de zi cu zi. La un nivel de baza evaluarea programelor inseamna deplasarea acestui demers de evaluare cotidiana (de la gustul mancarii la temperatura apei din piscina) pentru a determina in ce masura eforturi organizate, numite programe, sunt destinate ajutarii, sprijinirii oamenilor care au nevoie de servicii ale administratiei publice.

Evaluarea programelor inseamna un ansamblu de metode si abilitati necesare pentru a determina daca un serviciu public este necesar si va fi folosit, daca este suficient de bine organizat pentru a raspunde nevoilor existente, daca este oferit la nivelul la care s-a dorit si daca acest serviciu ofera asistenta celor care au nevoie, la un cost rezonabil si fara efecte secundare inacceptabile.

Utilizand metode de cercetare din domeniul psihologiei, sociologiei, stiintei administratiei, economiei, educatiei, evaluatorii incearca sa contribuie la imbunatatirea programelor.

Exista cateva diferente esentiale intre evaluarile naturale, aproape automate, pe care le facem in viata de zi cu zi si evaluarile de programe in cazul organizatiilor publice. Aceste diferente fac evaluarea programelor mult mai dificila decat auto-evaluarea individuala.

Eforturile organizationale sunt aproape intotdeauna initiate si dezvoltate de catre o echipa de oameni. Aceasta specializare inseamna ca responsabilitatea in domeniul evaluarii programelor este difuzata la nivelul mai multor persoane. Mai mult, 'produsul' programului in cauza (fie ca este vorba de un student bine educat, un pacient sanatos, etc.) nu reprezinta responsabilitatea unica a unui singur membru al echipei.

Cele mai multe programe vizeaza obiective ce pot fi observate mai degraba candva in viitor decat peste cateva minute, ca si in cazul evaluarilor noastre cotidiene. Datorita perioadei mai largi existente intre activitatea propriu-zisa si aparitia rezultatelor este mai dificil de stabilit ce trebuie urmarit pentru a decide daca activitatea in cauza este dezvoltata de o maniera pozitiva sau negativa si ceea ce trebuie facut pentru a imbunatati rezultatele existente.

Mai mult, alegerea criteriilor pe baza carora se decide daca un program functioneaza bine sau nu produce dezbateri intre evaluatori, institutiile care aloca fondurile, clienti, in interiorul personalului, etc.; atunci cand isi evalueaza propria munca un individ joaca mai multe roluri: muncitor, evaluator, beneficiar al muncii, posesor al feed-back-ului, etc., atunci cand este vorba de o evaluare de program aceste roluri sunt distribute intre mai multi indivizi, ceea ce poate crea sensibilitati si probleme specifice.

Abordari ale conceptului de evaluare

1. Evaluarea actiunii unui program poate insemna explicarea mecanismului prin intermediul caruia actiunea in cauza este susceptibila a atinge obiectivul vizat.

2. Evaluarea unui program se poate situa la un nivel superior: care sun^

nevoile colective ce trebuie satisfacute? Sunt ele reale? In ce masura pot fi ele satisfacute?

3. Evaluarea unui program poate insemna realizarea unui control asupra activitatii managerului de program: a urmarit acesta recomandarile ce i-au fost facute? A indeplinit obiectivele desemnate? Daca nu a facut-o care sunt motivele? A propus acesta modificari ale programului capabile sa il amelioreze?

4. Evaluarea unui program poate permite asigurarea coerentei intre obiective si scopurile organizatiei: corespunde realizarea obiectivelor programului cu scopurile generale ale institutiei publice?

5. In prelungirea punctului anterior, pentru a cunoaste consecintele unui program este necesar un demers de evaluare a impactului real al programului in cauza. Putem, de asemenea, distinge:

evaluarea 'a posteriori', realizata dupa terminarea programului;

evaluarea programata, realizata in cursul punerii in practica a unei decizii publice.

Obiective ale evaluarii programelor - Folosirea regulata a metodelor stiintelor sociale in vederea monitorizarii si evaluarii calitatii serviciilor a inceput in anii '60, atunci cand guvernul Statelor Unite a dorit sa isi construiasca activitatile de o maniera rationala, efectiva si masurabila. Planificarea rationala a devenit o preocupare in anii '60 datorita faptului ca extinderea rapida a programelor finantate de guvern a facut ca abordarile traditionale sa fie depasite. In conditiile in care, spre exemplu, intre 1960 si 1974 sprijinul federal pentru educatie a crescut de la 1% la 4,6% iar cheltuielile in domeniul sanitar au avansat de la 1% la 7,6%, s-au facut simtite atacuri care puneau sub semnul intrebarii eficienta acestei interventii guvernamentale.

Pe acest fond evaluarea programelor a devenit tot mai necesara pentru obtinerea sprijinului in dezvoltarea acestui tip de actiuni.

Folosirea evaluarii programelor a cunoscut o crestere rapida pentru ca informatia este necesara pentru a realiza obligatia de a oferi servicii eficiente.

Aceasta obligatie poate fi exprimata prin intermediul a sapte responsabilitati direct legate de modalitatea in care metodele specifice evaluarii programelor pot fi folosite pentru a le respecta.

1. Directionarea resurselor inspre satisfacerea unor nevoi ignorate.

Serviciile publice trebuie sa vizeze satisfacerea unor nevoi ignorate pana atunci. Desi aceasta remarca poate parea de la sine inteleasa, deseori serviciile sunt oferite in lipsa unui dialog real cu cetateanul vizat. Cu cat distanta intre cei ce planifica aceste servicii si clienti este mai mare cu atat posibilitatile de a gresi sunt mai mari.

2. Necesitatea de a verifica daca programele planificate ofera cu adevarat servicii.

Problema fundamentala in cazul programelor proiectate este ca multe nu vor fi implementate niciodata sau vor fi implementate de o maniera diluata, ce nu furnizeaza nici un beneficiu sau un beneficiu minimal celor care ar avea nevoie. Este deci nevoie ca evaluatorii sa confirme ca personalul necesar programului a fost angajat, birourile au fost deschise, serviciile sunt oferite iar clientii beneficiaza in mod direct de ele.

Exista multe exemple in care programele, desi finantate, nu au fost puse in practica niciodata; uneori acest lucru s-a datorat unor fraude, dar de multe ori a fost vorba de o slaba organizare sau o intelegere gresita a nevoilor populatiei vizate.

3. Examinarea rezultatelor

Managerii, finantatorii, legislatorii doresc sa observe activitatea atunci cand un program incepe sa se deruleze; aceste activitati exista insa cu adevarat doar atunci cand rezultatele pot fi observate. A opera un serviciu nu inseamna a oferi cu adevarat un serviciu publicului iar aceste doua concepte nu inseamna automat a oferi un serviciu de calitate (Speer, Trapp, 1976). Pe baza acestor observatii apare ca fiind necesar ca cei ce elaboreaza programele sa stabileasca criterii susceptibile a identifica rezultatele existente.

4. Determinarea serviciilor care produc cele mai bune rezultate

Desi un program particular poate da rezultate bune, trebuie retinut faptul ca serviciile publice pot fi oferite in diferite moduri, unele fiind mai eficiente decat altele. Spre exemplu numeroase teorii incearca sa explice de ce unii adolescenti adera la bandele urbane si comit infractiuni; pot fi sustinute idei conform carora adolescentii cauta un substitut pentru familie, sunt atrasi de 'fructul oprit' sau banda in cauza le ofera protectie fata de alte grupari de acest fel.

Daca rezultatele mai multor programe din aceeasi sfera de interes sunt foarte apropiate va fi aleasa varianta cea mai putin scumpa, ceva permite mai multor oameni sa fie serviti sau oferirea unor servicii aditionale.

5. Selectarea tipurilor de programe ce ofera cele mai cerute servicii

In cazul administratiei publice pot fi oferite mai multe tipuri de servicii; din nefericire nici o societate nu poate oferi toate serviciile pe care fiecare persoana si le-ar dori. Evaluatorii cauta sa sprijine administratia in compararea beneficiilor programelor ce se adreseaza diferitelor nevoi, pe baza unei varietati de potentiali candidati. In mod traditional acest tip de alegeri a fost facut pe baza intensitatii sprijinului/interventiei politice. Desi politica este si va ramane un factor puternic de influenta in democratiei, abilitatile de a compara diferite alternative se pot dovedi deosebit de folositoare in luarea unor decizii atunci cand resursele sunt limitate, asa cum de obicei si sunt.

6. Furnizarea informatiei necesare pentru a mentine si imbunatati calitatea serviciilor.

Este interesant de observat faptul ca functionarea unui program, oferirea de catre acesta, la un moment dat, a unor servicii catre cetatean este un aspect distinct fata de mentinerea calitatii acestui program.

Evaluatorii au dezvoltat tehnici de monitorizare a programelor atat pentru a verifica daca serviciile sunt oferite, acoperind cea dintai obligatie, cat si pentru a asigura clientii si personalul ca aceeasi calitate va fi mentinuta.

Mai mult, nolle abordari vizeaza nu atat ilustrarea efectului benefic al programului la inceputurile sale sau mentinerea calitatii cat cautarea imbunatatirii serviciilor existente.

7. Observarea efectelor secundare

Un alt element ce dovedeste importanta demersului evaluativ se refera la faptul ca efortul de a rezolva o problema creeaza de multe ori efecte secundare semnificative. Spre exemplu, o medicamentatie ce se dovedeste deosebit de benefica intr-o anumita maladie poate crea probleme aditionale in alte domenii; Uneori aceste efecte sunt minore, alteori solicita atentie medicala particulara sau, mai rar, sunt fatale. Pacientii si medicii trebuie sa constientizeze pericolul reprezentat de aceste efecte, evitand atat minimizarea cat si maximizarea importantei lor.

Evaluarea programelor poate contribui la dezvoltarea pozitiva a societatii doar daca evaluatorii isi indeplinesc cu succes obligatia de a sprijini administratia publica in identificarea nevoilor cele mai importante, in planificarea eficienta, in domeniul monitorizarii atente, in evaluarea calitatii, in detectarea efectelor secundare nedorite.

Tipologia evaluarii programelor

Obiectivele primare ale evaluarii (discutate in capitolul anterior) pot fi atinse utilizand diferite tipuri de evaluare de programe; cele mai importante se refera la studierea nevoilor, proceselor, rezultatelor si eficientei.

Evaluarea nevoilor urmareste identificarea si masurarea nivelului nevoilor nesatisfacute in interiorul unei organizatii sau comunitati.

Evaluarea acestui tip de nevoi reprezinta primul pas necesar inainte de inceperea proiectarii efective a programului in cauza. Proiectarea programului presupune luarea in considerare a unei varietati de alternative in ceea ce priveste satisfacerea acestor nevoi. In cadrul procesului de selectare a unor alternative cei ce elaboreaza programul angajeaza o forma a evaluarii, lucru ce semnaleaza asocierea stransa ce se face intre cei ce proiecteaza si cei ce evalueaza un program.

Ca parte a evaluarii nevoilor, evaluatorii pot examina profilul socio-economic al comunitatii in cauza, nivelul problemelor sociale, agentiile si institutiile administrative implicate in oferirea de servicii. Prin intermediul contactelor cu cetatenii si liderii comunitatii evaluatorii pot determina aspectele din cadrul programului care pot fi folositoare precum si cele care apar a fi inacceptabile.

Diferite tipuri de nevoi:

Nevoi pe termen scurt. Multe programe sunt puse in aplicare pentru a ajuta oameni aflati intr-o situatie de criza (asistenta medicala, sprijin financiar in caz de catastrofe, etc.). Evaluarea unui program de pregatire a functionarilor publici in vederea asimilarii de noi abilitati va fi diferita de cea a programelor de pregatire dintr-o scoala generala.

Nevoi pe termen lung. Pentru a satisface anumite nevoi, serviciile publice trebuie sa fie disponibile pe o perioada lunga de timp. Educatia pentru copii, tratamentul unor boli, reabilitarea unor persoane ce sufera de alcoolism, etc. sunt programe ce nu pot fi rezolvate intr-o perioada scurta de timp.

Nevoi potentiale. In mod ideal problemele existente nu trebuie sa se dezvolte, sa devina mai complexe. Programele preventive sunt conduse in ideea evitarii sail amanarii largirii problemelor (vezi educatia sanitara). In mod evident evaluarea programelor de prevenire trebuie sa fie diferita fata de evaluarea programelor ce vizeaza confruntarea cu problemele curente.

. Evaluarea proceselor - Odata ce programul a fost dezvoltat si initiat evaluatorii se deplaseaza spre misiunea de a identifica gradul in care implementarea are loc, profilul oamenilor ce beneficiaza de program, nivelul la care el opereaza asa cum se astepta. Evaluarea procesului include verificarea ipotezelor facute in faza elaborarii programului. Corespund nevoile organizatiei/comunitatii cu ceea ce s-a crezut in faza de proiectare? Exista elemente care sa sustina evaluarea nevoilor facuta in acea faza? Prezinta presupunerile de ordin teoretic facute de initiatorii programului vreo legatura cu realitatea? Este esential sa se cunoasca modul in care programul functioneaza cu adevarat, inainte de a fi implementat in alt domeniu.

Necesitatea verificarii gradului de implementare a unui program poate fi ilustrata de un exemplu prezentat de catre revista Time; acesta se refera la o fabrica ruseasca de tractoare ce trebuia sa fie un model de eficienta. In realitate, probleme majore aparute in faza de constructie au dus la abandonarea proiectului; pentru a evita criticile, responsabilii proiectului au pretins ca fabrica a fost terminata si ca, mai mult, a dat o productie record.

3. Evaluarea rezultatelor - Daca studiul de specialitate arata ca un program a fost implementat bine si ca cetatenii se folosesc de serviciile oferite, o estimare a rezultatelor programului in cauza poate deveni principala tinta a evaluarii.

Aceasta evaluare se poate desfasura pe cateva nivele de complexitate. Nivelul elementar se refera la situatia celor care au beneficiat de serviciile oferite; la un nivel superior se vor evalua performantele celor care au beneficiat de program, comparativ cu cei care nu au facut-o. O evaluare plasata la un nivel si mai crescut de dificultate va incerca sa determine daca cei ce au beneficiat de serviciile in cauza au cunoscut o schimbare in bine a conditiei proprii.

Evaluatorii, ce cauta sa stabileasca rezultatele unui program, descopera deseori ca oamenii au opinii diferite despre ce inseamna un rezultat de succes. Spre exemplu, un program de pregatire a somerilor poate plati pentru ca acestia sa invete o meserie noua, capabila sa le ofere un loc intr-o firma privata. Unii dintre politicienii locali pot vedea accesul la acest curs ca o recompensa pentru cei care au lucrat pentru ei in campania electorala; instructorii din cadrul programului il pot percepe ca o slujba temporara destul de buna. In aceste conditii este putin dificil sa se defineasca un rezultat pozitiv.

4. Evaluarea eficientei- Chiar atunci cand evaluatorii pot arata ca un program a ajutat participantii, ei trebuie sa opereze cu probleme de cost. Guvernul si institutiile administrative trebuie sa selecteze serviciile care pot fi sustinute financiar; un program de succes, ce solicita insa o mare cantitate de resurse, se poate dovedi o alegere proasta, in cazul in care rezultate similare se pot obtine pe baza unor resurse reduse. Daca un evaluator este chemat sa compare doua sau mai multe programe proiectate sa produca rezultate similare, eficienta trebuie accentuata de o maniera riguroasa; este vorba aici de o analiza cost-eficacitate.

Acest tip de evaluare este deosebit de important pentru ca nici o organizatie, publica sau privata, nu poate face totul, multumi pe toata lumea; exista intotdeauna alegeri ce trebuie facute.

Este de observat ca cele patru modalitati de evaluare se afla intr-o relatie de interdependenta. Fara estimarea nevoilor, planificarea/proiectarea nu poate fi rationala; fara o implementare efectiva nu se pot obtine rezultate favorabile; iar fara a obtine rezultate favorabile nu exista nici o evaluare a eficientei.

Scopul evaluarii programelor: Exista un scop esential, valabil in cazul tuturor activitatilor de evaluare: a contribui la propunerea unor servicii de calitate celor care au nevoie de ele.

Aceasta contributie este adusa prin oferirea de feed-back referitor la activitatile si rezultatele programelor celor care decid ce tip de servicii vor fi initiate. Fara acest feed-back serviciile publice nu pot fi dezvoltate in mod eficient.

Feed-back-ul poate fi oferit pe baza unor motivatii diferite. In primul rand, evaluarile pot intari proiectele referitoare la un serviciu public si functionarea acestuia in ideea imbunatatirii rezultatelor programului si cresterii eficientei; acestea sunt evaluarile formative pentru ca ajuta chiar la formarea programelor.

In al doilea rand evaluarile pot ajuta in a decide daca un program trebuie mceput, continuat sau ales din doua sau mai multe alternative; este vorba de evaluari de insumare (summative evaluations). Exista o finalitate a acestui tip de evaluare; odata ce 'valoarea' programului a fost estimata acesta poate fi intrerupt. In realitate foarte putine evaluari determina daca un program va fi sau nu eliminat.

Decidentii detin o multitudine de surse de informatii referitoare la programele in derulare; deoarece evaluarea este doar una dintre aceste surse, nu este surprinzator pentru evaluatori ca, de multe ori, evaluari extrem de clare si riguroase nu sunt urmate de decizii specifice.

Odata ce un program a fost reconfigurat pe baza feed-back-ului oferit de evaluarea formativa si estimat ca fiind efectiv pe baza evaluarii de insumare, un feed-back devine necesar pentru mentinerea calitatii programului. Aceasta este evaluarea tip monitorizare. Monitorizarea proceselor esentiale si rezultatelor programului pentru a verifica daca acesta ramane eficient reprezinta o activitate cruciala, in faza post-implementare.

Pregatirea unui demers de evaluare - etape

Identificarea programului in cauza si a participantilor.

Obtinerea descrierii programului. Primul lucru necesar in evaluarea unui program este, pentru cel ce doreste realizarea acestui lucru, obtinerea descrierii programului.

Este important astfel daca evaluarea este propusa pentru un program nou sau pentru unul care are o anumita vechime; daca tine de un management la nivel local sau este difuzat in multiple puncte; daca diferitele persoane implicate in program fac acest lucru pe baza voluntara sau sunt desemnate; daca programul se adreseaza unui numar mic sau mare de persoane; daca din punct de vedere teoretic programul este bine articulat sau daca este bazat pe perceptii superficiale.

Contactarea participantilor.

Urmatorul lucru pe care evaluatorul trebuie sa il ia in considerare este identificarea participantilor; acestia semnifica persoanele implicate in program, ce obtin o parte din venituri din program, a caror viitoare cariera poate fi afectata de calitatea programului sau cei care sunt clienti sau potentiali beneficiari ai serviciilor oferite de acesta.

Personalul ce lucreaza in cadrul programului este de obicei mult mai implicat din punct de vedere subiectiv decat cei ce aloca sumele necesare ('sponsorii') sau clientii. Directorul de program este astfel o persoana cheie cu care evaluatorul trebuie sa se afle in legatura pe parcursul intregii actiuni. Este important de urmarit aspecte precum: pregatirea directorului, reputatia acestuia, filosofia programului, viziunea existenta. Totodata trebuie implicat in acest tip de abordare si personalul existent; aceasta implicare trebuie sa fie initiata devreme pentru a putea fumiza elemeate detailate privind viata interna a organizatiei in cauza, elemente ce nu pot fi oferite decat de catre persoanele ce cunosc cu adevarat ce se intampla in activitatea de zi cu zi, rutiniera. Relatia intre directorul de program si personal este de asemenea extrem de importanta; un consens asupra necesitatii unui demers de evaluare creste semnificativ sansele ca intreg grupul sa coopereze in planificarea evaluarii, colectarea datelor, utilizarea rezultatelor.

Cei ce aloca fondurile necesare programului ('sponsorii') trebuie de asemenea avuti in considerare. Uneori chiar personalul programului este eel care ofera fondurile; alteori este vorba de fundatii, agentii guvernamentale, diverse institutii. Este important ca evaluatorii sa se intalneasca cu aceasta categoric de persoane inca de la inceputul procesului de evaluare.

Clientii sau beneficiarii programului trebuie, de asemenea, identificati. Tipul de contact cu clientii va diferi in functie de diferitele tipuri de evaluari sau de programe:

Ø     in cadrul evaluarii serviciilor ce se refera la comunitati semnificativ extinse se poate contacta doar un mic numar de reprezentati alesi;

Ø          in cadrul evaluarii ce se refera la diferite institutii (scoli spre exemplu) se poate contacta un numar mai mare de persoane implicate (parinti in cazul amintit);

Ø     in cadrul evaluarilor ce se refera la programe de mici dimensiuni se pot implica, intr-o masura sau alta, toti participantii.

In toate aceste cazuri este necesar a detine o buna percepere a nevoilor participantilor pentru ca, la urma urmelor, programele oferite de serviciile publice se subordoneaza ideii de servire a publicului. Familiarizarea cu informatia necesara

Un evaluator trebuie sa raspunda, in faza urmatoare identificarii elementelor: esentiale ale programului si participantilor, urmatoarelor intrebari:

1.Cine doreste realizarea acestei evaluari?

2. Ce tip de evaluare este potrivita?

3. De ce este dorita aceasta evaluare?

4. Cand este dorita realizarea acestei evaluari?

5. Ce resurse sunt disponibile pentru a sustine evaluarea?

1. Cine doreste realizarea evaluarii?

In mod ideal, atat 'sponsorii' cat si personalul doresc o evaluare a programului. In acest caz evaluatorii vor lucra cu oamenii ce doresc sa verifice daca programul satisface asteptarile lor si care vor sa imbunatateasca functionarea acestuia.

Daca 'sponsorii' sunt cei ce initiaza demersul de evaluare, evaluatorii se vor confrunta cu necesitatea de a-i face pe cei din personal sa perceapa pozitiv scopurile si metodologia initiate. In caz de esec in aceasta incercare ei vor trebui sa faca fata unei rezistente active sau pasive; in ambele cazuri ei nu vor obtine gradul necesar de cooperare pentru a duce proiectul la bun sfarsit. Atunci cand echipa ce lucreaza in organizatia vizata percepe evaluarea ca fiind o cale de a imbunatati eficienta muncii prestate, oamenii vor fi mult mai dispusi sa asigure evaluatorilor asistenta de care au nevoie in culegerea datelor si sa le furnizeze elemente importante in procesul de interpretare a datelor.

In cazul in care personalul este cel care a initiat/propus evaluarea, evaluatorii trebuie sa se asigure ca si 'sponsorii' sunt convinsi de utilitatea demersului. Daca acestia sunt dezinteresati nu vor sustine procesul in sine si nu vor fi interesati in a sprijini modificarile ce vor fi recomandate.

2. Ce tip de evaluare este potrivit?

Pe parcursul intalnirilor avute cu 'sponsorii' sau personalul este de multe ori evident pentru specialisti ca termenul de evaluare de program nu are aceeasi acceptiune pentru toata lumea. Desi ar parea a fi mai pozitiv pentru ei sa gandeasca in termeni de evaluare formativa sau de monitorizare, care ar permite identificarea aspectelor pozitive ale programului si modificarea/imbunatatirea altor aspecte, de multe ori personalul prefera evidentierea eforturilor curente pe care le depune.

'Sponsorii' pot prefera o evaluare sumativa in cazul in care se afla sub presiune pentru a canaliza resursele spre alte programe. Uneori pot exista, de asemenea, confuzii intre colectarea de date si masurarea performantelor individuale (similare cu cele din scoala).

In acest punct evaluatorii pot ajuta participantii la program sa inteleaga ce tip de evaluare corespunde cel mai bine nevoilor si resurselor existente.

Alegerea se face rar intre modele distincte de evaluare; de multe ori incorporarea unor elemente specifice diferitelor tipuri de evaluare poate fi deosebit de benefica, in functie de scopurile programului si resursele disponibile.

3. De ce este dorita evaluarea?

Initierea unei evaluari reprezinta rareori rezultatul unei cautari stiintifice dezinteresate; mult mai des este vorba de nevoi ale unor forte politice. Astfel 'sponsorii' trebuie de multe ori sa dea alegatorilor motive pentru a pastra un program finantat pe baza banilor publici. Evaluarea efectiva a programelor acorda un grad inalt de importanta identificarii motivelor ce stau la baza solicitarii acestei evaluari. Exista anumite grupuri in interiorul organizatiei care pun sub semnul intrebarii necesitatea existentei programului? Exista o intentie de a folosi rezultatele evaluarii pentru a imbunatati sistemul de luare a deciziilor?

Evaluatorii sunt constienti de faptul ca diferitii participanti pot avea diferite prioritati. Unii doresc o functionare generala satisfacatoare a programului, altii vizeaza identificarea unor elemente de natura a le imbunatati munca, iar altii pot urmari o extindere a programului. Unul din rolurile evaluatorilor este de a sustine realizarea unui consens referitor la rolul evaluarii, intre 'sponsori' si participanti.

Anumite ratiuni ce stau la baza unei evaluari pot fi considerate ca fiind indezirabile; spre exemplu atunci cand ea este ceruta pentru a permite unui manager sa evite luarea unei decizii sau atunci cand managerul stie deja ce decizie va lua dar doreste o legitimare.

4. Cand este dorita realizarea evaluarii?

Participantii pot dori de multe ori ca evaluarea sa fie realizata rapid. Datorita acestui lucru planificarea demersului trebuie sa includa un echilibru intre preferintele participantilor la program si timpul necesar realizarii unei evaluari serioase. Este necesar ca evaluatorii sa ia in considerare timpul necesar pentru a pregati un proiect, a culege informatiile, a aranja diversele intalniri, a gasi un numar rezonabil de participanti si a sintetiza observatiile pentru alcatuirea raportului final. Nu exista formule general valabile pentru a determina cat va dura realizarea unui demers de evaluare; se poate insa dezvolta o perceptie a relatiei intre scopul proiectului si timpul necesar pentru completarea evaluarii. O tehnica susceptibila a oferi rezultate pozitive este impartirea proiectului in etape mici si estimarea timpului necesar fiecareia.

5. Ce resurse sunt disponibile?

Un alt factor ce poate limita evaluarea este reprezentat de resurse. Este de recomandat pentru evaluatori realizarea unei liste initiale exacte referitoare la resursele necesare.

Planificarea unui demers de evaluare

Documentarea - Atunci cand evaluatorii lucreaza intr-un domeniu nou pentru ei este important sa realizeze o documentare atenta inainte de initierea demersului propriu-zis. Ei pot identifica informatii semnificative susceptibile a oferi un tablou metodologic si politic precum si o imagine a dificultatilor practice existente.

Atunci cand posibile rapoarte existente sunt studiate este important pentru evaluatori sa isi orienteze studiul pe cateva intrebari cheie: In ce masura programul evaluat inainte este similar cu cel ce urmeaza sa fie evaluat? Ce tip de cercetare a fost adoptata? Exista un consens intre rapoartele existente? Ce probleme importante nu au fost considerate?

Determinarea metodologiei

Dupa realizarea documentarii evaluatorii trebuie sa fie in masura a lua anumite decizii referitoare la metodologie: proceduri de esantionare, designul cercetarii, colectarea datelor, analize statistice.

Odata ce populatia vizata de program este identificata, evaluatorii trebuie sa decida daca vor utiliza intreaga populatie, un esantion aleatoriu sau un esantion ales pe baza altor argumente. Unul dintre argumentele cele mai importante pentru a include intreaga populatie vizata este de ordin politic: anumiti oameni pot fi ofensati de neincluderea lor in proiect. Evaluarea in interiorul unei organizatii de mari proportii are de castigat daca toti angajatii au posibilitatea de a participa.

Uneori selectarea anumitor grupuri in cadrul demersului de evaluare este de preferat pentru ca exista preocupari referitoare la profilul participantilor la program sau persoane cu probleme particulare/specifice. Unii autori sugereaza ca evaluatorii trebuie sa includa participantii selectati pe baza unei varietati de elemente.

Exista doua motive principale pentru folosirea unui esantion de participanti si nu a intregii populatii: evaluarea programelor trebuie sa fie realizata intr-o perioada data de timp si pe baza unui buget. O strategie gandita pentru a selecta un esantion si a obtine date de la un numar cat mai mare de componenti ai acestuia este preferabila obtinerii unui numar redus de date din ansamblul populatiei vizate (altfel spus 75 de raspunsuri obtinute dintr-un esantion de 100 de persoane este preferabil alternativei de 25% raspunsuri dintr-o populatie de 1000 de persoane). Exista uneori tendinta gresita de a se accentua mai mult marimea esantionului decat reprezentativitatea sa.

Un alt pas important in selectarea metodologiei se refera la alegerea unui model de cercetare; aceasta alegere depinde de constrangere existente (scopurile evaluarii, preferintele participantilor, timpul si fondurile avute la dispozitie). Unele evaluari vizeaza doar o serie de interviuri, altele se bazeaza pe o examinare creativa a datelor existente, iar altele se bazeaza pe tehnici specifice in cercetarile tip.

Folosirea unor criterii multiple, din diferite surse, este susceptibila a aduce cele mai bune informatii pentru realizarea evaluarii. Participantii la program reprezinta, ei insisi, una dintre cele mai importante si accesibile surse de date. In anumite cazuri (mai ales atunci cand participantii sunt foarte tineri) anumite persoane apropiate acestora cum ar fi membrii familiei pot furniza informatii utile.

Prezentarea unui proiect scris

In faza urmatoare documentarii si alegerii metodologiei evaluatorii trebuie sa prezinte un proiect scris. Acceptarea acestui proiect asigura faptul ca evaluatorii si personalul au cazut de acord in ceea ce priveste natura scopurilor programului, criteriile folosite, si structurarea programului in vederea evaluarii.

Este important, din punct de vedere psihologic si practic, ca personalul implicat in program sa inteleaga procesul evaluarii, sa nu il perceapa in mod negativ si chiar sa manifeste o doza de entuziasm in ceea ce priveste informatiile ce vor fi obtinute.

In cazul existentei unui contract scris este important ca sarcimle evaluatorului sa fie clar precizate si toate responsabilitatile sa fie foarte clare; de asemenea este important sa se includa elemente referitoare la estimarile de costuri existente. Oricum, realizarea unor astfel de intelegeri scrise ajuta in mentinerea unor asteptari similare referitoare la evaluare din partea tuturor participantilor; eventualele diferente in acest domeniu al asteptarilor pot fi ulterior renegociate.

Folosirea acestui tip de comunicare scrisa nu trebuie interpretata ca semnificand neaparat o lipsa de incredere; ea trebuie vazuta ca o incercare de evitare a unor probleme suplimentare datorate diferentelor de perceptie.

Modele de evaluare

Fiecare din modelele ce vor fi discutate include aspecte valabile in cazul evaluarii programelor. Valoarea cunoasterii modelelor este direct legata de dezvoltarea unei aprecieri a tipurilor de intrebari/abordari pe care evaluatorul le poate lua in considerare. Problemele specifice urmarite de evaluator in cadrul unui program specific pot face ca unul sau altul din modelele existente sa fie privilegiat. Este deosebit de important pentru evaluatori si participanti la program sa evite selectarea unui model ca reprezentand abordarea 'corecta' inainte de a analiza datele si tipul de probleme/intrebari la care evaluarea trebuie sa ofere un raspuns.

1. Modelul traditional. In cazul acestui model clasic cei care ofereau servicii publice erau liberi sa lucreze asa cum considerau a fi cel mai bine, fara a se acorda o prea mare atentie evaluarii formale sau rezultatelor legate de eforturile lor. Evaluarea muncii era realizata pe baza unor impresii formate de o maniera informala de catre superiorii ierarhici.

Nu este surprinzator faptul ca un asemenea tip de evaluare tinde sa se subsumeze servirii interesului organizatiei in cauza si nu sa vizeze in principal pe provocarea pozitiva a conducatorilor si echipei existente. Aceasta observatie nu inseamna neaparat ca profesionistii spatiului public ar fi prin definitie lipsiti de onestitate sau dezinteresati in oferirea unor servicii de calitate; insa fara o analiza riguroasa, bazata pe modele formale de evaluare, chiar si cei mai bine intentionati evaluatori pot fi influentati in sens negativ.

2. Modelul bazat pe cercetarea specifica stiintelor sociale. Intr-un efort de a face evaluarea mai riguroasa unii evaluatori an perceput evaluarea ca o forma specializata a cercetarii in stiintele sociale. Gradul de a determina gradul de succes al unui program a fost de a forma doua grupuri, oferind unuia accesul la un anumit serviciu si folosindu-1 pe celalalt ca grup de control. Dupa incheierea programului, membrii ambelor grupuri sunt supusi observatiei. Teste statistice sunt aplicate rezultatelor; daca contrastul intre grupul 'tratat' si grupul de control este semnificativ din punct de vedere statistic, programul este considerat a avea succes. A concluziona ca un program nu are succes doar pentru ca un test statistic nu a avut relevanta dorita este insa o greseala; totusi aceasta abordare a adus un grad mai mare de rigoare si obiectivitate in evaluarea programelor.

3. Modelul de inspectie industriala. O abordare in cazul evaluarii folosita uneori in industrie se bazeaza pe inspectarea/verificarea produsului odata ce acesta ajunge la capatul liniei de fabricatie. Daca sunt descoperite scapari, produsul este 'reparat' inainte de a fi oferit consumatorului. Aceasta abordare este insuflcienta si conduce la costuri extrem de ridicate. Este mult mai putin costisitor sa se realizeze o munca de calitate de la inceput.

4. Evaluarea de tipul 'cutiei negre'. Aceasta abordare se refera la acele evaluari care examineaza rezultatele unui program fara a examina si operatiile interne. In anumite situatii acesta este tipul de evaluare cerut.

Astfel, inainte de a cumpara o masina, multi oameni studiaza reviste de specialitate pentru a vedea care este cea mai buna alegere. Odata ce cumparatorul nu se afla in pozitia de a corecta defectiunile sau imbunatati automobilul, este prea putin relevant sa stie de ce motorul porneste greu sau transmisia nu este foarte buna. Consumatorul are nevoie sa stie care masina are performante mai bune decat alta, nu care sunt motivele ce stau la baza acestei situatii. Asemenea tip de evaluare nu poate insa fi folosit in cazul programelor sociale in cadrul carora se asteapta ca evaluarea sa duca la imbunatatiri a programului in cauza.

5. Evaluarea in afara scopurilor. Incercarea de a evita o prematura concentrare asupra scopurilor duce la constatarea ca evaluatorii vor munci mai bine in cazul in care nu cunosc scopurile stabilite ale programului. Evaluatorii care cunosc aceste scopuri pot, in mod neintentionat, sa se directioneze inspre informatii care le sustin si sa nu observe modul in care programul este de fapt administrat sau impactul pe care il are asupra clientilor. Un evaluator situat in afara definirii exacte a scopurilor foloseste o perioada mai lunga studiind programul din punctul de vedere al administrarii, personalului implicat, clientilor, elementelor existente si susceptibile, a identifica toate aspectele pozitive si negative ale programului. Ulterior, sponsorii si personalul vor decide in ce masura concluziile evaluatorului sunt compatibile cu scopurile declarate ale programului si nevoile clientilor.

6. Evaluarea financiara. Teoretic, cea mai obiectiva evaluare presupune calcularea investitiilor financiare necesare pentru a sustine un program si 'returnarea' acestor investitii. Cand se decide o investitie planificatorii imagineaza modalitatile prin care aceasta schimbare va afecta suma banilor ce va intra in organizatie. Evaluarea financiara reaminteste evaluatorilor ca toate serviciile au nevoie de resurse si ca aceste costuri nu pot fi ignorate.

Pe de alta parte, multe decizii in domeniul selectarii unor servicii nu pot fi luate pe strict pe un asemenea tip de rationament, date fiind caracteristicile serviciului public.

7. Modelul de tip audit. Programele bazate pe finantare din fonduri publice trebuie sa isi foloseasca resursele in activitati care au fost prevazute atunci cand programul a fost aprobat. Programele mari implica o multime de manageri, situati in diferite locuri, in diferite zone geografice. Rolul institutiilor ce practica un asemenea tip de evaluare este de a verifica daca fondurile statului sustin servicii efective oferite grupurilor identificate a avea nevoie de ele in legislatia ce a creat respectivul serviciu. Deoarece acest tip de evaluare se concentreaza prea mult pe conformitatea cu legislatia, el nu poate fi aplicat in mod universal.

8. Modelul bazat pe opinia expertilor. O abordare care incearca sa inlature auto-sustinerea abordarilor traditionale si sa evite limitele evaluarii financiare si de tipul 'cutiei negre' presupune implicarea unor experti care examineaza programul. Critica in domeniul literaturii sau artei este o forma de evaluare in care o persoana specializata examineaza si exprima o judecata referitoare la calitatea muncii depuse; desi critica de arta este subiectiva, evaluarea bazata pe opinia expertilor se poate baza pe date obiective. Spre exemplu, o evaluare a unor constructii de locuinte construite din fonduri publice poate include elemente precum calitatea constructiei si designului, timpul necesar, etc. Unele decizii in cazul unor studii de acest fel sunt in mod evident luate atat pe baza unor informatii obiective, cantitative cat si pe baza unor impresii calitative.

Opinia expertilor este des folosita atunci cand entitatea studiata are dimensiuni largi, este complexa. Spre exemplu, deciziile in domeniul acreditarii universitare trebuie sa fie bazate pe recomandarile unei echipe de experti care examineaza datele cantitative existente, inspecteaza cladirile, discuta cu studentii, administratorii, personalul si profesorii existenti.

9. Modelul naturalistic. Atunci cand evaluatorii nu doresc sa isi restranga viziunea proprie prin concentrarea exclusiva in directia scopurilor stabilite ale organizatiei, dar doresc sa isi imbunatateasca capacitatile de a percepe perspectivele pozitive ale programului, ei folosesc uneori metode calitative ce conduc la o evaluare naturalista. In acest demers evaluatorul devine el insusi instrumentul de colectare a datelor. Prin observarea personala a fazelor programului evaluatorul cauta sa obtina o intelegere completa a programului, clientilor acestuia si a mediului social.

Datorita multitudinii de detalii incluse rapoartele pot fi uneori extrem de lungi. Modele axate pe realizarea unor imbunatatiri. Unii autori au dezvoltat un model de evaluare in cadrul caruia atentia este acordata in principal imbunatatirilor ce pot fi aduse programului si nu unei metodologii particulare.

Imbunatatirile pot fi realizate in interiorul programului atunci cand discrepante semnificative sunt observate intre ceea ce exista si ceea ce a fost planificat, proiectat sau dorit. Evaluatorii sustin personalul programului in incercarea de a descoperi clivajele existente intre implementarea programului si planurile definite anterior, intre asteptarile populatiei si serviciile oferite de fapt sau intre rezultatele obtinute si cele asteptate. Efortul de identificare a discrepantelor nu se datoreaza vreunei tendinte punitive a evaluatorilor; insa daca scopul evaluarii este de a imbunatati calitatea programului (si aproape intotdeauna acesta este scopul) discrepantele ofera o posibilitate de a cauta si identifica imbunatatiri reale, efective. Pentru a creste calitatea unui program, personalul angajat in derularea lui trebuie sa isi explice ce nu functioneaza asa cum se astepta.

Acest model pare a intruni cele mai bune criterii necesare unei evaluari eficiente: raspunde nevoilor participantilor, ofera informatii valide, ofera un punct de vedere alternativ.

Utilizarea rezultatelor evaluarii - Din punctul de vedere al utilitatii, evaluarea programelor poate fi privita din trei puncte de vedere distincte:

a. Utilizarea directa sau instrumentala, acest aspect se refera la utilizarea specifica a rezultatelor evaluarii de catre cei care iau deciziile in domeniul public. Spre exemplu o evaluare in domeniul medical, referitoare la durata spitalizarii poate constata ca pacientii ce dispun de resurse limitate sunt spitalizati pe o perioada mai scurta de timp; acest lucru poate duce la o imbunatatire a programelor medicale pentru persoanele sarace;

b. Utilizarea conceptuala, aceasta se refera la folosirea evaluarii in directia influentarii perceptiei unei probleme in general. Astfel, o anumita evaluare in

domeniul serviciilor sanitare poate modifica viziunea existenta din partea publicului, chiar daca nu duce la modificarea unor programe specifice.

c. Utilizarea persuasiva, aceasta se refera la folosirea rezultatelor evaluarii intr-un efort ce vizeaza fie sprijinirea fie criticarea unei atitudini politice, altfel spus pentru apararea sau atacarea status quo-ului.

Spre exemplu administratia Reagan a folosit in mod frecvent, pentru apararea politicii proprii de reducere a programelor sociale, evaluari ce probau lipsa unui impact pozitiv in cazul multor programe majore in acest domeniu.