Cercetarea Evaluativa

Adrian Hatos

Cercetarea evaluativă Definiţie. Tipuri Studiul evaluativ nu este o metodă anume, specifică, ci este o cercetare care are un obiectiv specific, acela de a evalua o activitate socială, de obicei un program social, care a fost pus în practică pentru a ameliora o problemă socială, o nevoie socială. Dezvoltarea tehnicilor de cercetare evaluativă a fost motivată de presiunile pe care finanţatorii programelor sociale le-au făcut în ultimele decenii mai ales asupra celor care implementau respectivele programe către eficientizarea modalităţilor de alocare a resurselor. Cei care oferă resurse pentru rezolvarea unor nevoi sociale au dreptate să solicite dovezi că banii lor sunt cheltuiţi eficient. Una dintre marile probleme ale diverselor programe care se derulează sau au fost implementate în ţara noastră în ultimii ani este lipsa interesului pentru evaluarea lor corectă. Majoritatea aşa-ziselor evaluări certifică realizarea acţiunilor prevăzute şi cheltuirea corectă a banilor nu atât efectele rezultate, comparativ cu cele urmărite raportate, eventual, la rezultatele altor programe similare. Avem aici un indiciu al faptului că între beneficiarii de finanţări nu există încă o concurenţă reală, care ar putea impune rigori mai strânse pentru calitatea acţiunilor finanţate şi că pe cei care furnizează sprijinul material nu-i interesează întotdeauna cel mai mult succesul acţiunilor exprimat în rezultatele scontate cât marcarea unor acţiuni ca încheiate. Tipuri de cercetare evaluativă 1. Design cvasi-experimental ex-post-facto 2. Analiza cost-beneficiu 3. Evaluarea impactului în comunitate 4. Analiza longitudinală

Componentele unei cercetări evaluative a. Clarificarea scopului Scopul este formulat cel mai adesea de către beneficiar. Cercetătorul poate contribui şi el la formularea obiectivelor evaluării. Evaluarea unui program poate fi realizată din mai multe motivaţii: 1. îndeplinirea unui contract sau a unui angajament de grant – multe finanţări pentru programe solicită beneficiarilor finanţării să furnizeze evidenţe valide privind succesul sau eficienţa acţiunilor sprijinite; 2. evaluarea unor proceduri diverse, care abordează aceeaşi problemă, din punctul de vedere al eficienţei, pentru a identifica procedura cea mai bună în situaţia respectivă; 3. evaluarea poate fi o tactică de amânare a punerii în practică a unor măsuri, sau pentru a transfera responsabilitatea în cazul unui eşec sau pentru a realiza publicitate pentru program.

1

Adrian Hatos În optica autorilor acestui manual, evaluarea apare ca utilă în cele două situaţii descrise de punctele 1 şi 2 de mai sus: când planificatorul trebuie să aleagă acţiunea, procedura cea mai potrivită pentru a acoperi o anumită nevoie, este bine să se poată baza pe evaluări valide în alegerea sa, iar în proiectul său de intervenţie trebuie să indice foarte clar care vor fi procedurile de evaluare a succesului propriului program. Beneficiarii unei cercetări evaluative pot fi mai multe categorii de actori implicaţi în realizarea de programe sociale: - organizaţiile finanţatoare - agenţii naţionale, guvernamentale - instituţii locale responsabile cu programe sociale - directorii de proiect - membri echipei proiectului - beneficiarii programului - cercetătorii şi alţi specialişti O altă clasificare a studiilor de evaluare ia în considerare momentul din derularea programului în care are loc analiza. Din acest punct de vedere avem evaluare: - Formativă – care se realizează asupra programelor aflate în derulare – şi care evaluează calitatea proceselor presupuse de derularea programului şi nu eficienţa pur şi simplu a acestuia. - Sumativă – care se realizează la încheierea programelor cu scopul de a formula recomandări referitoare la eficienţa programului, să sublinieze slăbiciunile şi realizările programului.

b. Stabiliţi variabila dependentă (efect) Independent de scopul evaluării, rezultatele trebuie să poată fi exprimate cantitativ. Caracteristica măsurată cea mai importantă pentru un studiu evaluativ este cea care exprimă rezultatele programului. Încă în faza de proiectare a unei acţiuni, specialiştii trebuie să îşi propună obiective SMART. M-ul din acest acronim înseamnă măsurabil. Dacă rezultatul programului este identificat într-o caracteristică măsurabilă le va fi mult mai uşor atât celor care implementează intervenţia cât şi altora să evalueze eşecul sau succesul acţiunii. Acest obiectiv măsurabil, prin urmare poate fi foarte bine variabila dependentă, sau efectul măsurat în studiul de evaluare. De exemplu, un program educativ care are ca scop să sporească competenţele şcolare ale unor copii din clasa a 2-a, poate să aibă ca obiectiv măsurabil obţinerea într-un an a unui spor de 20% la teste standardizate de citire şi de aritmetică. Evaluarea succesului unui asemenea program s-ar putea realiza prin compararea rezultatelor la aceste teste ale copiilor care au beneficiat de program cu rezultatele obţinute într-un grup similar căruia nu i s-au aplicat tehnicile de predare noi. Alte obiective măsurabile ale unor programe posibile sunt: Scop Variabilă dependentă Reducerea sărăciei Ponderea persoanelor aflate sub pragul sărăciei Combaterea HIV Numărul de persoane înregistrate ca nou infectate cu virusul HIV Combaterea abandonului şcolar Numărul de elevi din clasele 1-8 care au abandonat cursurile învăţământului obligatoriu 2

Adrian Hatos Cei care stabilesc variabila independentă trebuie să fie atenţi să găsească trăsătura măsurabilă justă pentru rezultatul scontat. Altfel, se produce o eroare serioasă în evaluare succesului programului. Aceasta este de fapt povestea multor programe implementate în România, la care am făcut deja referire mai sus. Astfel, dacă evaluăm succesul unui program de educaţie pentru planificare familială prin numărul de participanţi ne aflăm într-o gravă eroare. În acest caz rezultatul depinde de obiectiv. Dacă obiectivul a fost doar cunoaşterea mijloacelor contraceptive, evaluare trebuia să includă un test de cunoştinţe pentru participanţi, prin care să se poată arăta că, la finalizarea cursurilor participanţii cunosc mai bine tehnicile de planificare familială. Dacă obiectivul ar fi fost reducerea numărului de sarcini nedorite în comunitate, evaluarea ar fi trebuit să arate că, într-adevăr, numărul de sarcini nedorite a scăzut semnificativ în cazul celor care au beneficiat de curs, sau, dimpotrivă, au crescut – variantă nefericită în mod evident. Deşi pare simplă, problema găsirii unei trăsături măsurabile prin care să se evalueze rezultatul unui program este suficient de importantă pentru a nu fi tratată cu superficialitate. În plus, nici nu este simplă adeseori. Specialiştii (Babbie, 1997) fac unele recomandări privind stabilirea variabilelor dependente: - În cazul în care efectul este o atitudine, este bine ca respectiva atitudine să fie măsurată cu ajutorul unor scale deja folosite de alţii, şi a căror fidelitate şi validitate a fost demonstrată. Aceste scale se găsesc în studiile publicate de alţii, sau pot să fie furnizate de către specialişti din domeniu. - Dacă este posibil, să se folosească măsuri multiple. Cu alte cuvinte, în loc de o variabilă, mai bine două. Astfel, se poate controla mai bine validitatea concluziilor privind succesul programului. - Este cel mai bine ca variabila dependentă şi modalitatea de măsurare a acesteia să fie stabilită prin comun acord cu beneficiarul evaluării. Astfel se evită posibile suspiciuni privind calitatea măsurărilor indicate ca sursă a concluziilor evaluării.

c. Determinaţi variabilele independente şi cele de control Rezultatul este determinat de mai mulţi factori, care includ şi procedura sau tratamentul care este evaluat. Aceşti factori trebuie luaţi în considerare pentru a aprecia corect sursa eventualelor schimbări ale variabilei dependente. Neidentificarea corectă a factorilor care produc aceste schimbări pot să compromită evaluare, prin atribuirea eronată a efectelor înregistrate, programului sau altor factori. Astfel eşecul unui program de dezvoltare comunitară într-o comunitate de romi poate fi greşit atribuit echipei proiectului, dacă nu se ţine cont de apartenenţa religioasă a celor din comunitatea respectivă. Cunoscând că posibilităţile de implementare sunt diferite într-o comunitate neo-protestantă, comparativ cu colectivităţile rome care nu aparţine acestor denominaţiuni, vom putea constata chiar că aşa-zisul eşec este un succes, având în vedere circumstanţele. Un alt exemplu la îndemână este cel al programelor şcolare. Rezultatele şcolare ale elevilor nu depind numai de strădaniile, competenţa şi tehnica profesorilor, dar şi de diverse resurse disponibile copiilor, care nu sunt controlate de şcoală, cum ar fi bunăstarea materială, nivelul de instrucţie al părinţilor, atitudinea faţă de şcoală şi motivaţia pentru învăţătură. Astfel, rezultatele elevilor din anumite instituţii şcolare trebuie să fie raportate la resursele de acest gen ale copiilor din aceste şcoli. Vom fi 3

Adrian Hatos surprinşi că, adeseori, diferenţele de rezultate dintre „şcolile de elită” şi cele mai „slabe” nu au nici o explicaţie în calitatea corpului profesoral din aceste instituţii educative ci în calitatea elevilor care aleg respectivele instituţii. În acelaşi fel, succesele sau insuccesele instituţiilor care găzduiesc copii abandonaţi trebuie să fie judecate relativ la caracteristicile iniţiale ale copiilor care intră în respectivele stabilimente.

c. Alcătuiţi planul cercetării Modul în care studiul va fi realizat depinde în primul rând de metoda aleasă pentru evaluare. Fiecare metodă are rigorile, limitele şi cerinţele ei. Analiza longitudinală va solicita realizarea unor măsurări repetate, dacă se poate şi înainte şi după aplicarea programului. Metodele cvasi-experimentale îl obligă pe evaluator să stabilească dacă va lucra sau nu cu grup martor (de control), dacă va face măsurări înainte de aplicarea programului, etc. Resursele, materiale şi de timp, impun şi ele restricţii adeseori celor care planifică un studiu evaluativ. Atunci când astfel de limite impun anumite compromisuri, specialiştii trebuie să fie atenţi ca aceste compromisuri să nu compromită evaluarea însăşi.

d. Discutaţi implicaţiile etice şi politice ale evaluării Chiar dacă este o temă nouă pentru specialiştii din România, etica cercetării capătă o mare atenţie în ţările mai dezvoltate. Este obligatoriu ca pe parcursul evaluării drepturile subiecţilor, ale celor din grupul ţintă, să nu fie încălcate, iar acceptul lor la realizarea evaluării să fie obţinut. În plus, procedurile, tehnicile aplicate nu trebuie să fie umilitoare nici traumatizante. În cazul în care ne aşteptăm ca tehnicile de culegere a datelor folosite să aibă unele efecte sociologice sau psihologice negative trebuie enumerate aceste consecinţe subiecţilor în prealabil şi obţinut acceptul lor. În acelaşi timp, cel care evaluează trebuie să se gândească şi la implicaţiile de natură politică, sau mai bine zis de efectele pe termen lung. Este bine de ştiut că: - Multe persoane sau agenţii pot să fie împotriva realizării evaluării şi pot încerca obstrucţionarea ei. Specialistul trebuie să lupte atât împotriva celor care vor să împiedice evaluarea, cât şi a celor care vor urmări să o deturneze, distorsionând astfel rezultatele ei. - Rezultatele care nu sunt utilizate într-un fel sau altul sunt inutile. Evaluatorul trebuie să manifeste multă grijă la formularea concluziilor, astfel ca, fără a altera validitatea celor enunţate, să producă efectul cel mai bun asupra beneficiarului evaluării. În paginile care urmează voi trata pe larg cele patru tipuri de studiu evaluativ enumerate în deschiderea acestui capitol.

Cvasiexperimentarea (evaluarea tratamentelor) Multe programe sociale pot fi considerate tratamente care sunt aplicate membrilor grupului-ţintă. Unele, de natură medicală, constituie literalmente tratamente, altele intră în această categorie dacă utilizăm termenul la figurat. Astfel de tratamente sunt, de exemplu, un supliment nutritiv pentru alimentaţia mamelor dar şi o tehnică de predare nouă pentru copiii cu un oarecare handicap educaţional.

4

Adrian Hatos Evaluarea efectului unui asemenea tratament, a eficienţei sale, se realizează, în condiţii ideale, experimental. Măsurarea experimentală a impactului presupune stabilirea prin selecţie aleatoare a două grupuri de mărime similară. Unuia dintre grupuri, denumit grup experimental, i se aplică tratamentul iar celuilalt, denumit grup de control, nu. După ce se presupune că tratamentul şi-a făcut efectul, se compară cele două grupuri din punctul de vedere al efectului aşteptat. În cazul în care diferenţa dintre cele două grupuri este semnificativă în ceea ce priveşte efectul (variabila dependentă), şi în direcţia aşteptată de specialişti, spunem că tratamentul este eficient. Dacă, în schimb, diferenţa este nesemnificativă ori este contrară aşteptărilor, concluzionăm că tratamentul nu este eficient. T0 Grup experimental Se aplică tratamentul Grup de control Nu se aplică tratamentul

t1 Se măsoară caracteristica efect Se măsoară caracteristica efect

În linii mari, aceasta este procedura care se utilizează pentru a evalua eficienţa unor procese precum tratamentele medicamentoase. În cazul programelor sociale, dar şi în alte situaţii, nu se poate hotărî aleatoriu care sunt indivizii care vor beneficia de program. În cazul programelor de dezvoltare comunitară, de exemplu, grupul experimental este alcătuit din colectivităţi întregi, care nu constituie în nici un caz eşantioane aleatoare. Atunci când comparaţiile dintre grupurile care beneficiază de un program şi grupurile asupra cărora nu se intervine (grupul de control) se realizează fără ca apartenenţa la aceste grupuri să fie rezultatul selecţiei aleatoare, spunem că realizăm evaluare prin cvasi-experiment. Astfel, evaluarea intervenţiilor în domeniul social poate fi clasificată, într-o primă variantă în tehnici experimentale şi cvasi-experimentale. Tehnicile experimentale presupun compararea efectelor tratamentelor asupra unor grupuri compuse aleatoriu. Tehnicile cvasi-experimentale nu permit astfel de comparaţii, mai ales datorită imposibilităţii stabilirii beneficiarilor intervenţiei prin selecţie aleatoare. În ceea ce priveşte evaluarea cvasi-experimentală, aceasta poate fi clasificată şi ea în funcţie de numărul de grupuri cu care se lucrează. Avem, pe de o parte, planuri de evaluare cvasi-experimentale în care se compară un grup al celor care au suferit tratamentul cu un grup al celor care nu au suferit intervenţia. Acest tip este numit cvasi-expeeriment ex-post-facto. Pe de altă parte, există strategii de evaluare care utilizează un singur grup, pe care îl vom denumi strategii cvasi-experimentale cu un singur grup. În ambele tipuri de evaluare cvasi-experimentală, problema fundamentală este cea a validităţii concluziilor evaluării. Cu alte cuvinte, evaluatorul trebuie să îşi asume cu multe precauţii concluzii privind cauzele care determină modificări ale stării efect. Din acest motiv, vom detalia în rândurile de mai jos posibilele surse de eroare în stabilirea relaţiei dintre tratament şi efectul produs prin astfel de metode.

Motive de precauţie Pentru a putea vorbi cu siguranţă despre modul în care o anumită intervenţie a produs un anumit efect, trebuie să identificăm corect toate elementele care au contribuit la 5

Adrian Hatos realizarea acestui efect. Desenul de mai jos indică categoriile de factori care contribuie la realizarea unui anumit efect: cauza însăşi, caracteristicile subiecţilor, condiţiile în care se produce acţiunea cauzei, timpul, momentul în care se produce interacţiunea, dar mai ales observaţia şi, în fine, efectul însuşi. Identificarea greşită a fiecăruia dintre cele 5 elemente, în cazul evaluării unui program, poate conduce la concluzii greşite cu privire la eficienţa intervenţiei. Figura 1. Elementele producerii rezultatului unui program

Cauza

Subiecţii

Condiţiile

Efectul

Timpul

Tipuri de erori de validitate

Experimente cu mai multe grupe

Experimente ex-post-facto În experimentarea ex-post-facto situaţia este furnizată de natură iar cercetătorul reconstruieşte mintal relaţia de cauzalitate dintre variabilele pe care nu el le-a introdus în cercetare. Această categorie de proceduri experimentale include două tipuri: experimente ex-post-facto cauză-efect şi ex-post-facto efect-cauză. În primul caz, cercetătorul cunoaşte numărul şi situaţia celor care au suferit acţiunea unui factor şi va urmări modificările anumitor variabile prezumabil dependente. În cel de-al doilea tip, cercetătorul cunoaşte numărul şi situaţia celor care manifestă un anumit efect, şi se caută variabilele care sunt corelate cu prezenţa şi absenţa efectului respectiv. Acest tip de cvasiexperimente este important în cercetarea aplicată din următoarele motive: 1. Apariţia anumitor efecte nu poate fi controlată prin proceduri experimentale „veritabile”. Spre exemplu, delincvenţa. În asemenea cazuri este necesar să se găsească factorii care generează anumite fenomene prin experimente ex-postfacto- efect –cauză. Imposibilitate controlării relaţiei dintre variabile are atît o determinare ontologică cât şi una morală. Cea morală este evidentă iar în ceea ce priveşte raporturile dintre factori, adeseori apariţia efectelor este lentă şi discretă, ori în situaţii greu de reprodus experimental. 2. Cvasiexperimentul este calea de evaluare a unor politici, intervenţii destinate a afecta anumite categorii de unităţi sociale (indivizi sau colectivităţi). 6

Adrian Hatos

Exemple de experimente ex-post-facto efect-cauză 1. Investigarea cauzelor cancerului de plămân. Se constituie un lot de persoane care suferă de această teribilă boală şi se alcătuieşte un al doilea grup cât mai similar din punctul de vedere al unor variabile considerate importante dar în care cancerul nu a apărut. Se pune în relaţie variabila dependentă (apariţia sau neapariţia cancerului de plămân) cu diferenţele semnificative dintre cele două loturi. Evident, se vor urmări relaţiile directe, eliminarea celor false, ca şi a efectelor cumulative. 2. Investigarea cauzelor retardării intelectuale la copii. Se compară datele privind mediul socio-economic a două grupuri de copii, unii diagnosticaţi cu retard intelectual, alţii evaluaţi ca normali din acest punct de vedere. În funcţie de variabilele care se controlează la selecţia membrilor celui de –al doilea grup, acestea sunt eliminate din analiză, urmărindu-se acţiunea altora. Dacă încercăm să evaluăm impactul deprivărilor materiale, nu vom controla apartenenţa la grupurile care se compară din punctul de vedere al calităţii vieţii. În cazul în care ne interesează impactul unor aspecte mai de detaliu, vom căuta ca grupurile să fie cât mai similare din punctul de vedere al veniturilor sau al stilului de viaţă din familiile de provenienţă.

Exemple de experimente ex-post-facto cauză- efect Acesta este genul de cercetare utilizat frecvent în evaluarea impactului politicilor sociale. 1. Evaluarea unui succesului unui program educativ pentru copiii cu dizabilităţi uşoare, bazat pe integrarea acestor copii în clase normale. În acest caz se pot testa abilităţile şcolare ale unui lot de copii cu dizabilităţi care au fost promovat un număr de ani de şcoală în cadrul învăţământului formal. Rezultatele se compară cu cele ale unui lot de copii cu dizabilităţi uşoare, cât mai asemănător cu primul lot din punctul de vedere al unor caracteristici importante (vârstă, tipul de dizabilităţi, statusul social de origine etc.). În cazul unei diferenţe semnificative pozitive în favoarea grupului care a fost integrat în clase normale se constată succesul programului. Evident, evaluarea trebuie să înregistreze şi reacţiile educatorilor şi ale părinţilor colegilor elevilor cu nevoi speciale, măcar pentru obiective formative – pentru o cât mai bună acceptare a programului. 2. Investigarea efectelor diferitelor modalităţi de îngrijire a copiilor abandonaţi. Acesta este un subiect de intensă dezbatere, nu numai ştiinţifică dar şi politică. Cu toate acestea, evaluările obiective întârzie să apară. O modalitate de evaluare simplă ar fi compararea abilităţilor cognitive, interacţionale şi de altă natură a unor loturi de copii similari ca vârstă, starea psiho-fizică în momentul abandonului, durată a îngrijirii, care au trecut prin experienţe diferite: îngrijire în cămin de copii, adopţie sau îngrijire de către asistenţi maternali. Analize detaliate pe această temă ar putea tranşa dezbaterea dintre adepţii îngrijirii rezidenţiale şi cei care susţin plasamentul la domiciliu. 3. Stabilirea eficienţei unor activităţi educative preventive. Deţinuţilor li se organizează tot felul de activităţi educative care ar trebui să îi pregătească practic dar şi moral ideologic pentru reintegrarea socială. Compararea ratei recidivelor deţinuţilor care au trecut prin astfel de activităţi şi a celor care nu au beneficiat de astfel de modalităţi de instruire, restul condiţiilor fiind similare, ar putea arăta dacă aceste activităţi au fost bine organizate. 7

Adrian Hatos

Observaţii: 1. În mare măsură, această metodă utilizează tehnici specifice anchetei sociologice. Deoarece situaţia în care se produce experimentul este naturală, necontrolată, trebuie măsurate toate variabilele care ar putea avea relaţie cu variabile dependentă. Prin urmare, instrumentul de măsurare va fi de obicei un chestionar. 2. Mai mult, experimentul ex-post facto poartă şi dezavantajele specifice anchetei, existând întotdeauna riscul ca o a „treia” variabilă, nemăsurată să explice relaţia dintre variabilele independente şi variabila dependentă.

Experimente cu o singură grupă Planuri înainte-după În 2000 rata sărăciei era de 33%. În 2003 a coborât la 27%. Pe baza acestei comparaţii se poate concluziona că programele anti-sărăcie ale guvernului din respectiva perioadă au dar rezultate semnificative. Evaluarea cvasiexperimentală cu plan înaintedupă presupune compararea aceloraşi unităţi înainte şi după aplicarea tratamentului. Diferenţa caracteristicii efect între cele două momente arată eficienţa tratamentului. Aceasta este una dintre modalităţile cele mai simple de evaluare a eficienţei programelor. Măsura efectului înainte de tratament – Tratament – Măsura efectului după tratament Constatarea eficienţei tratamentului poate fi afectată de câteva distorsiuni care îi pot reduce serios validitatea. Istoria Între cele două observaţii pot interveni evenimente sau procese, altele decât tratamentul care afectează efectul. Astfel, participarea politică a spaniolilor a crescut dramatic după 11 martie 2004, indiferent de programele de stimulare a participării, datorită tragicului atentat terorist din data respectivă. Evaluatorul trebuie să fie sigur că diferenţa dintre cele două momente măsurate nu este datorată unor evenimente necontrolate, independente de tratament. De exemplu, dacă se înregistrează o prezenţă masivă a romilor la urne, după un program de educaţie civică, trebuie să ne asigurăm că nu au intervenit alţi factori care au sporit prezenţa la urne, înainte de a concluziona că programul a fost un succes. Maturizarea Membri grupului căruia i se aplică tratamentul se pot schimba în timp. Oamenii devin mai bătrâni, mai înţelepţi, mai bolnăvicioşi, mai obosiţi. Este evident vorba de procese de schimbare care se desfăşoară treptat, în intervale mai lungi, în contrast cu evenimentele dramatice, la care am făcut referire mai sus. Creşterea ratei morbidităţii, sau a consumului de medicamente, într-o comună, într-un interval de 10 ani nu este neapărat un semn al eşecului activităţilor dedicate sănătăţii la nivel local, dacă această creştere este asociată cu îmbătrânirea populaţiei. Testarea Simplul act al aplicării unor instrumente de măsurare, de obicei pentru măsurarea efectului, poate altera rezultatul evaluării. Cei care sunt nefamiliarizaţi cu testele de inteligenţă, obţin la a doua aplicare a unui test de acest gen, rezultate semnificativ mai 8

Adrian Hatos bune decât la prima încercare, prima testare fiind ca antrenament în rezolvarea problemelor de inteligenţă. Astfel, îmbunătăţirea performanţelor la teste standardizate ale copiilor dintr-un centru de zi poate fi determinată, cel puţin în parte şi de obişnuinţa căpătată în lucrul cu astfel de teste şi nu de impactul muncii educative de la respectivul centru. Instrumentarea Efectele pot să se modifice datorită schimbării modalităţilor de calcul. Adeseori, schimbări dramatice ale unor indicatori nu au în spate decât alterări ale procedurilor de calcul, sau ale formulelor. Cel mai la îndemână exemplu este cel al disputei din jurul evaluării rezultatelor PSD la ultimele alegeri locale. În funcţie de modalitatea de exprimare aritmetică a rezultatelor, partidul de guvernământ a câştigat sau a pierdut alegerile. Astfel, după numărul de mandate de primar obţinute, PSD a câştigat detaşat. În schimb, apreciind în funcţie e numărul de mandate de consilieri judeţeni, sau de voturi primite, PSD s-a situat abia pe locul al doilea, după alianţa DA. Exemplu: măsurarea numărului de copii instituţionalizaţi/ rata sărăciei Regresia spre medie a valorilor extreme Scăderea semnificativă a numărului de infracţiuni comise cu violenţă după un an cu o rată a acestor infracţiuni foarte mare are ca explicaţie măsurile eficiente ale guvernului. Faptul că numărul celor care s-au îmbolnăvit din cauza consumului de ciuperci otrăvitoare a scăzut într-o măsură importantă, după ce atinsese cote record este determinat de eforturile educative ale primarului şi ale autorităţilor medicale? Deşi s-ar părea adeseori că programele sunt eficiente, reducerea incidenţei unor evenimente nedorite se întâmplă adeseori pur şi simplu datorită fenomenului uşor de prezis că după o incidenţă record, neaşteptat de ridicată a unui fenomen, frecvenţa apariţiei fenomenului va scădea. Acest fenomen, denumit regresie spre medie, este exploatat adeseori de instituţii, chiar dacă neintenţionat, pentru a demonstra eficienţa activităţilor proprii. Mortalitatea din grupul ţintă Dacă tratamentul durează intervale mai lungi, rezultatele pot să fie distorsionate de faptul că compoziţia grupului se schimbă prin eliminarea, sau abandonul unora dintre membri de la început. Cei care părăsesc grupul nu sunt identici cu ei care rămân, astfel că rezultatele finale diferă de cele iniţiale datorită compoziţiilor diferite ale grupurilor. Astfel, rezultatele unor măsurări privind motivaţia pentru învăţătură pot să difere semnificativ între studenţii anului 4 şi cele ale anului 1, nu atât pentru că în cei 4 ani de învăţătură motivaţia studenţilor suferă modificări importante ci deoarece studenţii cu motivaţie scăzută au fost eliminaţi pe parcurs, rămânând în anul 4 doar cei cu motivaţie ridicată. La fel, morbiditatea dintr-o comunitate rurală putea să fi sporit, nu datorită scăderii calităţii serviciilor medicale, de pildă, ci datorită emigrării persoanelor celor mai apte de muncă, ceea ce a dus la îmbătrânirea populaţiei din comunitate.

Analiza costurilor Adeseori li se cere celor care implementează programe să demonstreze că acţiunile lor sunt eficiente. Programele sociale costă bani, iar resursele monetare alocate acestora sunt limitate. Acest gen de demonstraţie este important mai ales atunci când sunt în concurenţă strategii, reţete diferite de a face faţă unor probleme iar argumentul monetar devine adeseori decisiv pentru alegerea între diverse variante. 9

Adrian Hatos Sunt câteva căi simpliste prin care această demonstraţie poate fi realizată. Căi care sunt, aşa cum sugerăm, greşite. Să ne închipuim că se caută modalitatea cea mai bună de a aborda intervenţia destinată reducerii numărului de cazuri de hepatită într-o anumită comunitate. O greşeală este de a prefera o strategie în defavoarea celorlalte doar pentru că are costurile brute cele mai mici. Greşeala inversă este de a alege un program doar pentru că are rezultatele brute cele mai bune. Nu alegem orbeşte nici programul cel mai ieftin nici neapărat pe cel care reduce cel mai rapid numărul de îmbolnăviri într-o anumită perioadă de timp. Prima variantă poate să fie asociată cu o reducere nesemnificativă a cazurilor de hepatită în timp ce cea de-a doua se poate întâmpla în condiţiile unor costuri prohibitive. În termenii evaluării, primul exemplu măsoară eficienţa în termeni de costuri, iar cel de-al doilea în termenii rezultatelor. Argumentul nostru este simplu: recunoscând că obiectivul cel mai important al unui program este de a spori cât mai mult bunăstarea beneficiarilor admitem totuşi că procedura aleasă pentru a aborda o nevoie trebuie să fie fezabilă: resursele existente trebuie să asigure realizarea obiectivelor programului de o manieră rezonabilă. Nici valoarea costurilor nici cea a eficienţei brute nu constituie argumente suficiente pentru a alege între proceduri de intervenţie diferite. Pentru a acoperi neajunsurile exemplificate mai sus, studiile de evaluare folosesc măsuri ale eficienţei economice care combină atât necesitatea reducerii costurilor cât şi imperativul creşterii eficienţei. Cele mai uzitate astfel de măsuri sunt eficienţa monetară şi raportul cost-beneficiu. În ambele modalităţi de evaluare intră în calcul costurile programului. Diferenţa constă în modalitatea de măsurare a eficienţei: în cazul calculului eficienţei monetare, eficienţa este exprimată în unitatea de măsură a obiectivului în timp ce în calculul cost/beneficiu efectele programului sunt exprimate în valoare monetară.

Eficienţa monetară. Exemple Cea mai la îndemână măsură a eficienţei monetare este, pentru multe programe, costul per client al serviciului. Calculul său presupune stabilirea costurilor totale ale programului şi raportarea acestor costuri la numărul total de beneficiari. Acest gen de calcul poate fi aplicat pentru foarte multe dintre programele sociale. De exemplu: - cost/ toxicoman consiliat - cost/ elev consiliat - cost/ mamă asistată - etc. În alte situaţii, o bază de raportare mai validă pentru eficienţa programului este schimbarea în situaţia celor care beneficiază. În acest caz vorbim despre calculul costului per rezultat. Reluând exemplul de mai sus cu programul de luptă împotriva hepatitei, o măsură de acest gen poate fi costul pentru reducerea cu 1% a numărului de cazuri de hepatită. Alte exemple pot fi: costul pentru reducerea cu 1% a ratei sărăciei, costul pentru reducerea cu 1% a ratei şomajului, costul pentru creşterea cu 1kg a greutăţii medii a copiilor de 10 ani dintr-o comunitate săracă, costul pentru creşterea cu o 10 puncte a rezultatelor medii la teste de citire ale copiilor şcolari dintr-o colonie de romi etc.

10

Adrian Hatos Realizarea acestor calcule permite judecarea eficienţei reale a programelor, ţinând cont atât de constrângerile materiale cât şi de obiectivele referitoare la beneficiari. În plus, astfel de calcule pot ajuta la planificarea programelor viitoare. Dezbaterea din jurul oportunităţii îngrijirii la domiciliu pentru vârstnici, care este comparată cu îngrijirea rezidenţială, ar beneficia din plin dacă ar fi evaluate mai multe astfel de programe măcar după criteriul costului pe beneficiar. Acelaşi avantaj l-ar avea planificatorii şi în cazul disputei din jurul serviciilor pentru copii abandonaţi, nefiind foarte clar care variantă – cea a căminelor sau cea a asistenţilor maternali – este mai eficientă. Reportarea costurilor la rezultate trebuie să se facă pentru un anumit interval de timp. Costurile se acumulează în timp, astfel că nu se pot realiza comparaţii valide între diverse programe dacă rezultatele şi costurile nu sunt standardizate după variabila timp.

Analiza cost/beneficiu Analiza cost/beneficiu este o procedură mai complicată deoarece implică exprimarea în valori monetare nu numai a resurselor investite într-un program dar şi a efectelor acestora. Beneficiul este considerat suma de bani corespunzătoare resurselor care se economisesc în cazul în care este implementat un program. De pildă, atunci când re reuşeşte recuperarea fizică a unei persoane care a suferit un accident locomotor, se economisesc sumele de care respectiva persoană ar fi trebui să beneficieze în calitate de asistat. Eficienţa recuperării sale se calculează prin raportarea costului tratamentului de recuperare la sumele pe care le-ar fi primit ca ajutoare, subvenţii etc. în calitate de invalid. Bineînţeles că asemenea calcule vor căuta programele care are raportul cost/beneficiu cel mai mic. Problema acestui gen de evaluare este dificultatea stabilirii beneficiilor unui program. Evident că re-integrarea socială a unui delincvent aduce beneficii materiale pentru societate – faptele antisociale produc daune iar încarcerarea unui infractor costă. Dacă sumele pe care le cheltuieşte statul pentru întreţinerea unui deţinut nu sunt greu de aflat, calculul pagubelor medii, pe unitate de timp, produse de un infractor este mai dificil. Cea mai simplă soluţie la această problemă o constituie renunţarea la calculul tuturor beneficiilor mai mult sau mai puţin evidente şi identificarea celor asociate direct cu intervenţia evaluată sau cu absenţa ei. Astfel, realizarea unei legături rutiere între o comunitate de romi şi un centru urban poate duce la creşterea şanselor de angajare ale adulţilor din comunitate. În acest caz, beneficiul direct este scăderea sumelor plătite ca ajutor pentru venitul minim garantat (celebra Lege 416/2001) şi alte ajutoare sociale cum ar fi ajutoarele de şomaj. Calculul raportului cost beneficiu ar presupune, prin urmare, raportarea costului construcţiei drumului la ajutoarele sociale economisite în perioada pe care o presupune amortizarea şi exploatarea normală a şoselei. Un alt exemplu posibil de analiză cost/beneficiu poate fi acela al introducerii unui program de educaţie pentru sănătate, într-o anumită colectivitate, a cărui beneficiu economic înseamnă reducerea cheltuielilor de sănătate prin scăderea morbidităţii.

Câteva probleme ale evaluării eficienţei monetare Chiar dacă procedurile de mai jos par clare, punerea lor în practică, în situaţii concrete, implică multe probleme şi ascunde multe capcane. 11

Adrian Hatos

O primă problemă este cea a stabilirii corecte a costurilor. În afara costurilor monetare directe – salarii, materiale, etc. – implementarea unor programe implică adeseori costuri ascunse, care însă nu pot fi ignorate. Cele mai multe astfel de costuri sunt denumite de economişti costuri de oportunitate (sau costuri indirecte) şi arată că anumite resurse ar fi putut fi folosite altfel, decât pentru programul implementat. Astfel, voluntarii, care nu primesc salariu, ar fi putut în timpul muncii lor neplătite, să se angajeze undeva pentru bani, sau, cel puţin, să lenevească. La fel, o clădire, cum este un spital sau un cămin, ar fi putut foarte bine să producă venituri ca discotecă sau ca şi imobil cu locuinţe de închiriat. În lipsa, voluntarilor, sau a clădirilor primite de la administraţie, cei care furnizează servicii sociale ar trebui să angajeze personal, contra cost, sau să închirieze spaţii. Aceste resurse trebuie cuantificate la costuri. Altfel, multe dintre programe par foarte ieftine. Munca voluntarilor poate fi cuantificată foarte simplu prin multiplicarea numărului de ore efectuate în cadrul programului cu salariul mediu orar al unui angajat corespunzător. La fel, costul unei clădiri poate fi echivalat cu chiria lunară a unui imobil similar. În acelaşi fel trebuie cuantificată valoarea bunurilor primite din donaţii şi utilizate. Ca şi în cazul evaluării cvasiexperimentale, compararea mai multor programe pe criteriul raportului cost/client, cost/rezultat sau cost/beneficiu trebuie să ţină cont de diversele condiţii care afectează eficienţa unor programe. Relaţia dintre procedurile de intervenţie, cele care sunt consumatoare de resurse, şi efectul scontat şi înregistrat, este mediată de numeroase condiţii, care pot face comparaţiile simple lipsite de validitate. Astfel, succesul unui program de re-integrare şcolară a copiilor instituţionalizaţi depinde de severitatea handicapului şcolar iniţial al beneficiarilor. Copiii care pleacă de la rămâneri mari în urmă au şanse de succes mult mai mici decât cei care au un handicap relativ mic. La fel, un program de educaţie sexuală va avea mult mai mare succes într-o comunitate educată decât într-una cu capital educaţional scăzut. Comparaţii brutale ale costurilor şi efectelor unor programe de tipul celor de sus puse în practică în contexte diverse poate duce la concluzii neadevărate. Cazul cel mai fericit, prin urmare, al comparării eficienţei unor programe, este când condiţiile în care programele sunt derulate sunt identice. În realitate acest lucru este imposibil de găsit, însă evaluatorul poate să năzuiască să găsească condiţii cât mai apropiate pentru a compara programe diverse, ori, atunci când aceste condiţii sunt semnificativ diferite, să standardizeze comparaţiile, prin proceduri mai mult sau mai complicate cum ar fi introducerea în calculul rezultatelor sau al beneficiilor a efectelor diferenţelor de condiţii.

Evaluarea impactului Înainte de a detalia acest tip de studiu evaluativ trebuie să remarcăm faptul că noţiunea de impact are o semnificaţie ambiguă în literatura de specialitate. În multe texte, impactul se referă la efectul pe care programul îl are asupra grupului ţintă, deznodământul programului însuşi. Vom rezerva pentru acest înţeles conceptul de eficienţă iar noţiunea de impact o vom aloca reacţiilor atitudinale ale celor din grupul ţintă sau al membrilor altor grupuri la intervenţia implementată. 12

Adrian Hatos Astfel, studiile de evaluare a impactului urmăresc să aprecieze gradul de acceptare sau de respingere provocat de un program într-o anumită colectivitate. Studiile de impact pot să fie clasificate după situarea lor în timp în raport cu implementarea programului: în studii de impact realizate înaintea implementării şi studii de impact realizate în timpul implementării şi după finalizarea programului. Studiile de impact realizate înaintea programelor pot dezvălui posibile piedici în calea succesului unui program, piedici care pot izvorî din ostilitatea sau lipsa de înţelegere a unor categorii de actori implicaţi. A le cunoaşte poate ajuta la refacerea planului de activităţi de o manieră care să fie mai puţin generatoare de reacţii negative fie la organizarea unor activităţi de relaţii publice corespunzătoare care să indice clar obiectivele programului şi beneficiile pentru comunitate ale acestuia. Studiile de impact de acest fel, realizate înaintea implementării unor programe au şi o valoare democratică – ele constituie o dovadă a faptului că vocile celor din grupul ţintă au fost ascultate şi că programul nu este gândit şi pus în practică fără acceptul lor. Pe de altă parte, astfel de momente din planificarea programelor pot pune specialiştii adeseori în situaţii dilematice. Destul de des se întâmplă ca o parte a comunităţii să fie de acord cu programul propus în timp ce o altă parte să dorească altă variantă, alte soluţii. Cum se decide în astfel de situaţii nu este o problemă facilă şi în nici un caz una care se rezolvă algoritmic. Voi ilustra astfel de situaţii prin două exemple: Exemplu 1: Înaintea punerii în practică a unui proiect de dezvoltare comunitară într-o comunitate de romi, proiect care consta în realizarea unui centru de zi, grupul de iniţiativă constată că doar o parte a celor din grupul ţintă agreează această acţiunea, opozanţii considerând că repararea unui drum de acces către centrul de comună este mai urgentă decât constituirea centrului de zi pentru copii. Exemplu 2: Încercând să implementeze un proiect vast de dezvoltare comunitară întro comunitate de romi (alta decât cea din exemplul anterior), echipa proiectului întâmpină o rezistenţă acerbă din partea elitei majorităţii române care ar dori ca resursele alocate romilor să fie investite în beneficiul majorităţii. Cele două situaţii ne demonstrează că opţiunile, în astfel de situaţii dilematice, sunt mai puţin bazate pe criterii de eficienţă ci mai degrabă bazate pe opţiuni de valoare, în care principii precum bunăstarea generală şi drepturile omului sunt fundamentale. Astfel, în primul caz, polarizarea comunităţii în jurul celor două idei reflectă de fapt polarizarea în grupuri de interes divergente, chiar opuse. Orice program de dezvoltare comunitară vizează sporirea capitalului social al comunităţii, a resurselor de solidaritate, astfel că programele care pot duce la fracturi, la rupturi în sânul colectivităţilor sunt nerecomandabile. În situaţii precum cele din primul exemplu de mai sus, grupul de iniţiativă ar fi trebuit să negocieze cu toate părţile implicate, şi să investească creativitatea şi imaginaţie în planificarea unor noi acţiuni, până ar fi reuşit să ajungă la o soluţie de consens. Acest consens ar fi reprezentat chiar un succes colectiv, poate primul. Cel de-al doilea exemplu, este diferit, pentru că aici opoziţia reflectă de fapt raporturi de putere inegale între colectivităţi, în care o majoritate puternică evaluează cu prejudecăţi şi discriminatoriu progresele unei minorităţi marginale. În cazul acesta, principiul de urmat nu putea fi decât unul inclusiv, non-discriminatoriu, de continuare a programului de dezvoltare comunitară pentru romi şi de negociere cu reprezentanţii comunităţii majoritare pentru atenuarea ostilităţii acesteia. 13

Adrian Hatos Studiile realizate în timpul implementării proiectelor pot ajuta la corectarea unor erori de comunicare care pot interveni în implementarea unui proiect. În fine cele realizate după derularea intervenţiei arată, în primul rând, receptarea de către public a acţiunii şi, în al doilea rând, pot oferi indicii cu privire la proceduri şi acţiuni, sau alte elemente ale programului care trebuie ajustate, corectate, eliminate sau accentuate. Atitudinea publicului faţă de intervenţiile din domeniul social este un bun indicator al succesului unui program. În primul rând, atitudinea este corelată, foarte probabil, cu eficienţa programului. Programele ineficiente vor fi taxate ca atare către beneficiarii lor. Pe de altă parte, fiecare program este şi un efort de relaţii publice, în care se transmit nu doar nişte resurse, obiectivul primordial al acţiunii, dar şi anumite valori, anumite principii. În cazul în care, după finalizarea unei acţiuni de genul furnizării unui serviciu social, grupul ţintă are o părere negativă despre serviciu sau despre instituţia furnizoare, se poate vorbi de un eşec. Ideea de servicii, imaginea instituţiilor furnizoare şi receptarea ideilor acestora sunt toate în regres. Impactul poate fi evaluat prin mai multe metode. Calea cea mai populară este cea a anchetei pe bază de chestionar. Avantajul metodei este acela că permite rezultate cantitative a căror generalizabilitate este calculabilă în cazul eşantioanelor aleatoare. O altă modalitate de culegere de date privind reacţia membrilor grupului ţintă la un anumit program este focus-grupul, sau interviul de grup. Chiar dacă nu permite descrieri cantitative ale atitudinilor, interviurile de grup permit acces mai aprofundat la opiniile, reacţiile celor din grupul ţintă şi, în plus, dezvăluie modalităţile obişnuite în care persoanele din grupul de beneficiari reacţionează – cognitiv, atitudinal sau emoţional – la ceea ce li se oferă. Întrucât ambele metode au fost prezentate pe larg în altă parte, nu insist aici să le detaliez.

Analiza longitudinală Această metodă, denumită în literatura de specialitate şi serie temporală întreruptă () testează eficienţa sau impactul unei politici prin urmărirea evoluţiei în timp a unui fenomen supus politicilor respective. Reichardt şi Marck (1998) descriu un asemenea studiu, care a următit evoluţia în timp a unui fenomen supus unei intervenţii. Programul Outward Bound (Ieşi afară! Ar putea fi o traducere destul de aproxoimativă) este un program adresat tinerilor, în cadrul căruia participanţii trebuie să facă faţă mai multor provocări fizice şi psihosociologice prin activitate în natură, într-o organizare asemănătoare cercetaşilor. Cercetătorii citaţi de cei doi au evaluat efectul programului asupra participanţilor în ceea ce priveşte mai multe variabile, printre care şi încrederea în sine. Timp de 16 săptămâni înainte de derularea programului, cei 200 de tineri selectaţi pentru participarea la activităţile sale au fost testaţi cu privire la diverse aspecte psihosociologice. Aplicarea mărusătorilor a continuat şi în timpul celor 3 săptămâni de program cât şi încă alte câteva luni după terminarea programului. Graficul de mai jos, care aproximează scorurile medii la testul de încredere în sine arată că acest scor înregistrează un salt în săptămâna în care a început programul. Figura 2. Evoluţia în timp a încredere în sine a participanţilor la program

14

Adrian Hatos Încredere în sine

timp Începe programul

Saltul încrederii în sine, care apare odată cu demararea programului, pare a fi efectul participării la program. Se pot face câteva recomandări privind utilizarea seriilor temporale pentru a evalua efectul unor programe sau al unor politici. 1. O dovadă mai puternică a eficienţei programului o constituie saltul variabilei care măsoară efectul decât o creştere lină, în timp. Apariţia unei modificări bruşte a valorilor efectului, simultan cu acţiunea programului e greu de atribuit altor fenomene decât eficienţei cauzei. În schimb, atunci când creştere este continuă, s-ar putea ca o transformare naturală, independentă de programul implementat să fie atribuită eronat acţiunii care se evaluează. 2. În funcţie de procedura implementată, efectul se poate manifesta imediat, sau mai târziu în timp. Acest aspect nu trebuie neglijat, astfel că atunci când efectul este întârziat sunt necesare măsurători o perioadă mai îndelungată. 3. Pentru a avea o validitatea mai bună a concluziilor, este recomandabil, acolo unde este posibil, să se realizeze măsurători şi asupra unui grup de control, similar celui căruia i se aplică intervenţia, dar care nu beneficiază de nici un tratament. O asemenea comparaţie, descrisă în Reichardt şi Marck (idem) a demonstrat că ridicarea vârstei la care consumul de alcool este permis, de la 18 la 21 de ani, a dus la reducerea numărului de decese provocate de accidente de automobil la persoanele din această grupă de vârstă, în Michigan. Evaluatorii respectivului program au comparat pur şi simplu evoluţia numărului de decese prin accidente de automobil suferite de tinerii cu vârsta cuprinsă între 18 şi 20 de ani, înainte şi după de introducerea interdicţiei privind consumul de alcool la tinerii din această categorie cu evoluţia aceleiaşi variabile pentru tinerii cu vârsta cuprinsă între 21 şi 24 de ani. Liniile graficului demonstrau fără tăgadă că, în timp ce la tinerii de 18-20 de ani rata accidentelor mortale a scăzut, la ceilalţi a sporit. 15

Adrian Hatos

16