Mõju hindamine
Mõju hindamine on protsess, mille abil määratakse muutust, mida eeldatakse konkreetsest sekkumisest, näiteks projekti, programmi või poliitika kaudu. Sealjuures hinnatakse nii kavandatud kui ka mittekavandatud mõju. [1]
Võrreldes väljundindikaatorite seirega, millega tuvastatakse sihttasemete saavutamist, on mõju hindamine struktureeritud laiemalt tõendipõhiste vastuste saamiseks, näiteks vastata küsimusele: kuidas oleks tulemused muutunud siis kui ei oleks sekkumist rakendatud? Hindamine toob kaasa kontrafaktilise analüüsi, mis tähendab "tegelikult toimunud muutuse ja mis oleks muutus sekkumise puudumisel" võrdlevat analüüsi.[2] Mõju hindamine püüab vastata põhjus ja tagajärg küsimustele. Teisisõnu otsitakse muutust väljundites, mis on otseselt põhjustatud sekkumisest (oodatud programmi efektist).[3]
Mõju hindamine aitab vastata võtmeküsimustele tõenduspõhise poliitika kujundamisel: mis töötab, mis mitte; kus, miks ja kui palju on otseselt muutunud? Viimastel aastatel on oluliselt suurenenud mõju hindamise tähtsus ja sellega tõenduspõhise poliitika kujundamine arvestades nii lääneriikide kui ka arengumaadega.[4] See on oluline mõjuhindamise tähtsuse esile tõstmiseks, mis on lahutamatu osa ülemaailmsest jõupingutusest parandada toetuste (abi) osutamise tõhusust ja üldiselt riiklikke kulutusi elatustaseme parandamiseks.[5] Algselt arengumaade sotsiaalvaldkondade programmide hindamisele orienteeritud, eelkõige tingimuslik sularaha ülekandmine, on üha enam mõjude hindamist hakatud kasutama teistes valdkondades nagu põllumajandus, energeetika ja transport.
Hindamise ülesehitus muuda
Kontrafaktiline analüüs võimaldab hindajatel seostada sekkumiste ja tulemuste vahelist põhjust ja tagajärge. ‘Kontrafaktilised’ meetmed, mis oleks abisaajate olukord sekkumise puudumisel, ja mõju hinnatakse omavahelises võrdluses saavutatud sekkumise tulemustega. Mõju hindamise peamine väljakutse on see, et kontrafaktilisi asjaolusid ei ole otseselt võimalik jälgida ja tuleb leida ligilähedane võrdlusgrupp. Kontrafaktilise analüüsi läbiviimiseks sobiva võrdlusrühma määramiseks on olemas mitmesuguseid aktsepteeritud lähenemisviise, kasutades vastavalt eelseisva (ex ante) või retrospektiivset (ex post) hindamise ülesehitust. Eelseisev hindamine algab sekkumise kavandamise faasis, hõlmates baas- ja lõppnäitajate kogumist sekkumisega abisaajate (‘mõjutatud grupp’) ja mitteabisaajate (‘võrdlusgrupp’) kohta; need võivad hõlmata üksikisikute või kogukondade jaotust mõjutatud ja võrdlusgruppidesse. Retrospektiivne hindamine viiakse tavaliselt läbi pärast sekkumise rakendusetappi ja selleks võidakse kasutada olemasolevaid uuringuandmeid, kuigi parima praktikaga hindamistel kogutakse andmeid võimalikult lähedase baasväärtuse (nullnivoo) kohta, et tagada andmete võrreldavus mõjutatud ja võrdlusrühma vahel.
Mõju hindamise ülesehituse valik tehakse vastastikuse mõju loomiseks kasutatud meetodite liigi ja kontrollgrupi loomise võimaluse alusel ning praktikas eristatakse kolme kategooriat – eksperimentaalne, kvaasi-eksperimientaalne and mitteeksperimentaalne hindamise ülesehitus. Kategooriad erinevad üksteisest teostatavuse, kulude, osaluse kujundamise või sekkumise rakendusetapi aja ja valiku eelarvamuse osas. White (2006)[6] ja Ravallion (2008)[7] on esitanud alternatiive mõju hindamise lähenemisviisidele.
Eksperimentaalne ülesehitus muuda
Eksperimentaalse hindamise käigus valitakse mõjutatud grupp ja võrdlusgrupp juhuslikult (valim) ning kontrollgrupp eraldatakse nii otsesest sekkumisest kui ka sekkumistest, mis võib mõjutada huvipakkuvaid tulemusi. Grupid on sobivate karakateristikute alusel omavahel võrreldavad ja valikud on tehtud enne sekkumise rakendamist. Eksperimentaalsel lähenemisel nimetatakse võrdlusrühma kontrollgrupp. Kui gruppide juhuslik valik viiakse läbi piisavalt suurest üldkogumist, siis on mõjutatud grupi ja kontrollgrupi keskmine erinevus vaid see, et viimasele ei rakendata sekkumist. Juhusliku valimi kasutamine aitab vältida "valikulist kõrvalekallet". Samas ei tohi juhusliku valimiga valimiuuringud, milles valim koostatakse juhuslikult, segi ajada eksperimentaalse hindamise lähenemisega, mis nõuab ka sekkumise juhuslikku määramist.
Eksperimentaalset lähenemist on nimetatud ka kuldseks standardiks. See on ainus hindamise lähenemine, mis suudab arvesse võtta eelnevat valiku eelarvamust, näitamaks sekkumise ja tulemuste vahelist põhjuslikku seost. Juhuslikkus ja eraldatus sekkumistest ei pruugi sotsiaalpoliitika valdkonnas olla kasutatav ning võib olla eetiliselt raske põhjendada, [8] kuigi võib esineda võimalus kasutada loomulikku eksperimenti.
Kvaasi-eksperimentaalne ülesehitus muuda
Kvaasi-eksperimentaalne lähenemine aitab vähendada kõrvalekallet, mis tuleneb vaatluse eelnevast valimisest ja kus mõjutatud grupi kohta on paneelandmed kättesaadavad. Kvaasi-eksperimentaalne lähenemine hõlmab erinevaid meetodeid nagu sobitamine, diferentseerimine, instrumentaalsete muutujate ja nn "torujuhtme" lähenemist; tavaliselt viiakse läbi mitmemõõtmeline regressioonanalüüs.
Kui valiku karakteristikud on teada ja neid on vaadeldud, siis saab neid kontrollida ja eemaldada, et vältida valiku kõrvalekallet. "Sobitamine" tähendab mõjutatud grupis osalejate võrdlemist kontrollgrupiga tuginedes vaadeldavatele valikuvõimalustele. Tõenäosusskooril põhinev sobitamine (PSM) kasutab statistilist mudelit grupis osalejate tõenäosuse arvutamiseks vaadeldavate karakteristikute komplekti alusel ning sobitab mõjutatud grupi ja sarnaste tõenäosusarvudega kontrollgrupi osalejate andmed. Mõõdetava muutuse tulemused leitakse erinevuste-erinevuse arvutamisega, milleks kasutatakse andmeid sekkumise baasaja ja lõppaja kohta ning seda nii mõjutatud kui ka kontrollgrupi osas. Meetod võimaldab valikulist eelarvamust arvestada eeldusel, et valiku määramisel ei ole kontrollitavaid tegureid aja jooksul fikseeritud.
Instrumentaalsed muutujad hinnangute arvestus valiku eelarvamuse kohaselt, kus modelleerides osalust, kasutades tegureid ("instrumendid"), mis on korreleeritud valiku, kuid mitte tulemusega. Seega valitud tegur eristab programmis osalemise aspekte, mida saab käsitleda kui eksogeenset muutujat.
Mitteeksperimentaalne ülesehitus muuda
Mitteeksperimentaalne hindamine on nime saanud sellest, et kasutusel ei ole kontrollgruppi. Seega ei ole tegemist kontrafaktilise olukorra võrdlemisega. Mitteeksperimentaalse hindamise käigus kasutatakse mõjutatud grupi andmete võrdlemist enne ja pärast sekkumise rakendamist. Sekkumise katkenud aegread hindamine nõuab mitmeid andmepunkte enne ja pärast sekkumist mõjutatud grupi kohta ning seega ei ole piisav ühe andmepunkti olemasolu (nn enne ja pärast). Mitteeksperimentaalset lähenemist peetakse kõige nõrgemaks, kuna ei ole võimalik piisavalt veenvalt näidata põhjuslikku seost sekkumise ja tulemuste vahel, mis tugineks hindamise tulemuste demonstreerimisel võimalike tulemuste alternatiivide kaudu. Selline hindamise lähenemine sobib osadel juhtudel, kus näiteks soovitakse näidata üksnes mõjutatud grupiga toimunud ajalist muutust. Lisaks võib esineda juhtumeid, kus mitteeksperimentaalne lahendus on ainus teostatav mõju hindamise võimalus, nagu näiteks üldalustel rakendatud programmid või riiklikud poliitilised reformid, milles ei eksisteeri eraldatud ja välja jäetud võrdlusrühmi.
Vaata ka muuda
Viited muuda
- ↑ World Bank Poverty Group on Impact Evaluation, accessed on January 6, 2008
- ↑ "White, H. (2006) Impact Evaluation: The Experience of the Independent Evaluation Group of the World Bank, World Bank, Washington, D.C., p. 3" (PDF). Originaali (PDF) arhiivikoopia seisuga 19. veebruar 2018. Vaadatud 12. märtsil 2018.
- ↑ "Gertler, Martinez, Premand, Rawlings and Vermeersch (2011) Impact Evaluation in Practice, Washington, DC:The World Bank". Originaali arhiivikoopia seisuga 17. juuli 2011. Vaadatud 12. märtsil 2018.
- ↑ Gaarder, M-M., Briceño, B. (2010) Institutional of Government Evaluation: Balancing Trade-Offs. https://web.archive.org/web/20180721113327/http://www.3ieimpact.org/media/filer_public/2012/05/07/Working_Paper_8.pdf
- ↑ "Muaz, Jalil Mohammad (2013), Practical Guidelines for conducting research. Summarising good research practice in line with the DCED Standard". Originaali arhiivikoopia seisuga 3. märts 2016. Vaadatud 12. märtsil 2018.
- ↑ "White, H. (2006) Impact Evaluation: The Experience of the Independent Evaluation Group of the World Bank, World Bank, Washington, D.C." (PDF). Originaali (PDF) arhiivikoopia seisuga 19. veebruar 2018. Vaadatud 12. märtsil 2018.
- ↑ Ravallion, M. (2008) Evaluating Anti-Poverty Programs
- ↑ Martin, Ravallion (1 January 2009). "Should the Randomistas Rule?". 6 (2): 1–5. Retrieved 16 January 2017 – via RePEc - IDEAS