Effektmåling: Nøglekompetence eller gøgeunge?

Fondenes samfundsrolle er i forandring, og derfor bliver evaluering og effektmåling en ny nøglekompetence hos fondene, forudser konsulenthuset Deloitte ved partner Michael Hjort­lund. Evalueringsekspert Peter Dahler-Larsen peger dog på, at evaluering ikke er et neutralt redskab.

Effektmåling
"Jeg er ik­ke over­dre­vent op­ti­mi­stisk i for­hold til tek­no­lo­gi­ens mu­lig­he­der for at lø­se de to grund­læg­gen­de pro­ble­mer i ef­fek­t­må­ling: Må­les der egent­lig på den rig­ti­ge ef­fekt? Og er ef­fek­ten grund­læg­gen­de skabt af ind­sat­sen?” si­ger pro­fes­sor Pe­ter Dahler-Larsen.

Skal fon­de ef­fek­t­må­le for at få mest mu­lig gavn af ud­de­lin­ger­ne? El­ler for at le­gi­ti­me­re de sam­funds­forandringer, de ska­ber? El­ler bør fon­de­ne i ste­det be­sin­de sig, så ef­fek­t­må­ling ik­ke be­græn­ser de­res filan­tro­pi­ske indsatser?

Nyheds­bre­vet Dan­marks Fon­de har talt med to eva­lu­e­rings­eks­per­ter – en prak­ti­ker og en teoretiker:

Mi­cha­el Hjort­lund er part­ner i De­loit­te Con­sul­ting Mo­ni­tor. Han er des­u­den op­lægs­hol­der ved Dansk In­du­stris se­mi­nar den 7. fe­bru­ar om ’Ef­fek­t­må­ling af fon­de­nes ud­de­lin­ger’. Pe­ter Da­h­­ler-Lar­sen er pro­fes­sor ved Kø­ben­havns Uni­ver­si­tet, og le­der af Cen­ter for Re­sul­ta­ter, Eva­lu­e­ring, Må­ling og Ef­fekt (CREME).

De­loit­te ud­send­te for ny­lig en så­kaldt tren­drap­port om dan­ske fon­de ba­se­ret på in­ter­views med 16 af Dan­marks stør­ste fon­de og en spør­ge­ske­maun­der­sø­gel­se sendt ud til 40 yder­li­ge­re fon­de. I rap­por­ten skri­ver De­loit­te blandt an­det, at dan­ske fon­de i sti­gen­de grad får fo­kus på at lø­se stør­re sam­fund­spro­ble­mer - via så­kaldt ka­ta­ly­tisk filan­tro­pi - og at ef­fek­t­må­ling der­for bli­ver ’det nye sort.’

”Hvis jeg var en gam­mel­dags fond og del­te pen­ge ud til mu­siks­ko­lens kla­ve­rer, så vil­le jeg ik­ke ha­ve be­hov for ef­fek­t­må­ling. Men i takt med at fon­de­ne sæt­ter sig stra­te­gi­ske mål om f.eks. at øge kva­li­te­ten af de na­tur­vi­den­ska­be­li­ge kan­di­da­ter el­ler ph.d.er el­ler om at mind­ske mi­striv­sel hos børn og un­ge, så må stra­te­gi­en ud­sæt­tes for ef­fek­t­må­ling. Det er nød­ven­digt for at for­stå, om pen­ge­ne bli­ver brugt for­nuf­tigt. Be­sty­rel­ser­ne må flyt­te fo­kus fra, om pen­ge­ne er brugt på den rig­ti­ge må­l­grup­pe til, om peng­ene er brugt ef­fek­tivt,” si­ger Mi­cha­el Hjortlund.

Ekspert: Evaluering har altid en pris

Pro­fes­sor Pe­ter Da­h­ler-Lar­sen for­sker i eva­lu­e­ring ved Kø­ben­havns Uni­ver­si­tet. Han gen­kender bil­le­det af en sti­gen­de op­mærk­som­hed på eva­lu­e­ring blandt dan­ske fon­de. Men han ma­ner til be­sin­dig­hed, in­den dan­ske fon­de ukri­tisk ac­cep­te­rer et evalueringsregime.

”Man skal ik­ke ka­ste sig ud i eva­lu­e­ring, blot for­di det er mo­der­ne. Det er nød­ven­digt med køli­ge over­vej­el­ser om for­de­le og ulem­per og dis­kus­sio­ner om, hvor­dan pen­ge­ne kan stræk­kes længst mu­ligt. Der er al­tid bin­din­ger og om­kost­nin­ger ved eva­lu­e­ring. Bå­de for dona­tions­mod­tagere, der even­tu­elt for­ven­tes at do­ku­men­te­re en ef­fekt, og for­di en be­slut­ning om at eva­lu­e­re bin­der fon­de­ne te­ma­tisk i for­hold til de pro­jek­ter, som de kan støt­te,” si­ger han.

Som ek­sem­pel næv­ner Pe­ter Da­h­ler-Lar­sen, at vis­se ty­per fond­spro­jek­ter sæt­tes i ver­den me­re som en kær­lig­heds­ger­ning end med en for­vent­ning om må­l­bar nytteeffekt.

”Eva­lue­ring er ik­ke et neu­tralt red­skab. Det er en ak­tiv med­spil­ler, der gri­ber ind i, hvad man gi­ver pen­ge til.”
– pro­fes­sor Pe­ter Dahler-Larsen.

”Det er al­tid svæ­re­re at må­le ef­fek­ter af et langstrakt fore­byg­gen­de ar­bej­de end af kort brand­sluk­ning. Hvis man ek­sem­pel­vis vil hjæl­pe me­get små børn, så kan ef­fek­ten væ­re van­skelig at ef­ter­vi­se i man­ge, man­ge år. El­ler må­ske vil man som fond gø­re en ren kær­lig­heds­ger­ning – som Blå Kors, der har en am­bi­tion om at hjæl­pe, når al­le an­dre har op­gi­vet. Her skal man som fond pas­se på ik­ke at ska­be en bind­ing om­kring, hvem der kan få pen­ge, for­di man in­si­ste­rer på ef­fek­t­må­ling. Eva­lu­e­ring er ik­ke et neut­ralt red­skab. Det er en ak­tiv med­spil­ler, der gri­ber ind i, hvad man gi­ver pen­ge til. Fon­de­ne har en unik fri­hed, som de skal væ­re var­som­me med at op­gi­ve ved at un­der­læg­ge sig et dif­fust evalueringskrav.”

Både succeser og fiaskoer bør deles

Men part­ner i De­loit­te, Mi­cha­el Hjort­lund er ik­ke nervøs for, at fon­de­nes øge­de brug af ef­fekt­måling vil re­sul­te­re i, at pro­jek­ter støt­tes el­ler igang­sæt­tes, for­di de er let­te at må­le ef­fekt på.

”Det øge­de fo­kus på ef­fek­t­må­ling kom­mer ik­ke til at æn­dre ret me­get på fon­de­nes ud­væl­gel­se af pro­ble­mer el­ler de­res me­to­der til at lø­se dem, som vi el­lers har set i den ame­ri­kan­ske virk­som­heds­kultur. Men fon­de­ne kan læ­re me­get ved at ana­ly­se­re de­res ind­sats­om­rå­de ved hjælp af da­ta. For en god pro­blem-ana­ly­se er for­ud­sæt­nin­gen for en god pro­gram­te­o­ri, der igen er for­ud­sæt­nin­gen for en god eva­lu­e­ring,” si­ger Mi­cha­el Hjortlund.

Bå­de dan­ske og uden­land­ske un­der­sø­gel­ser teg­ner et bil­le­de af, at fon­de er mest åb­ne om de ini­ti­a­ti­ver, hvor eva­lu­e­rin­gen fal­der po­si­tivt ud. Men iføl­ge Mi­cha­el Hjort­lund er det nød­ven­digt for fon­de­ne og­så at de­le de ne­ga­ti­ve eva­lu­e­rin­ger med om­ver­de­nen, og her er der plads til forbedring.

”Der er ik­ke no­gen ud­præ­get ten­dens til, at fon­de­ne i den bre­de­re of­fent­lig­hed de­ler vi­den om pro­jek­ter, som ik­ke har ført til no­get, el­ler som ik­ke er lyk­ke­des. Det er der i øv­rigt ik­ke no­get sted i ver­den. Men de mis­lyk­ke­de pro­jek­ter er fak­tisk me­get in­ter­es­san­te. For fon­de­ne har jo ri­si­ko­vil­li­ge mid­ler, som kan bru­ges til ind­sat­ser, som net­op ik­ke er sik­re på at lyk­kes. Vil­lig­he­den til at lø­be en ri­si­ko er en kæm­pe­stor for­del ved fon­de­ne. Der­for kun­ne en stær­ke­re de­ling af vi­den om pro­jek­ter, som ik­ke er lyk­ke­des, væ­re en fan­ta­stisk gu­i­de­li­ne for at læ­re om­ver­denen, at dét her fun­ge­rer ik­ke,” si­ger Mi­cha­el Hjort­lund og fortsætter:

”I USA be­væ­ger man sig mod me­re åben­hed om fejl­skud i or­ga­ni­sa­tio­ner som f.eks. Goog­le. Her ser man me­d­ar­bej­de­re præ­sen­te­re sig ved at an­non­ce­re, at det var dém, der fej­l­e­de stort med det­te el­ler hint pro­jekt. For de mis­lyk­ke­de pro­jek­ter fin­des jo, og det skal de net­op gø­re. Hvis en fonds­be­sty­rel­se kon­sta­te­rer, at 100 pct. af de støt­te­de pro­jek­ter er lyk­ke­des, så må man stil­le spørgs­mål ved, om fon­den har haft en af­gø­ren­de rol­le i pro­jek­ter­nes suc­ces, el­ler om ef­fek­ten vil­le væ­re ind­t­rå­dt uan­set ind­sat­sen. For at flyt­te no­get må man der­ud, hvor det ik­ke lyk­kes hver gang. For net­op her kan den al­min­de­li­ge ka­pi­tal ik­ke hjæl­pe; hvis pro­jek­ter­ne er ri­si­kab­le, vil det of­fent­li­ge el­ler ban­ken of­te ik­ke væ­re med.”

Men fejl­skud er kun pro­duk­ti­ve, hvis de er­ken­des åbent og de­les bredt, si­ger Hjortlund:

”Fon­de­ne må sør­ge for at de­le er­fa­rin­ger­ne. Fejl­ta­gel­ser el­ler pro­jek­ter, som ik­ke lod sig gø­re, er mindst li­ge så vig­ti­ge at de­le, som pro­jek­ter, der er gå­et su­per­godt. For el­lers und­går man ik­ke, at fejl­e­ne bli­ver gen­ta­get. Og i mod­sæt­ning til vis­se an­dre virk­som­he­der, har fon­de­ne in­gen in­ter­es­se i, at an­dre be­går fejl. Der­for er det me­get vig­tigt at fo­ku­se­re på, hvor­dan man kan få læ­ring ud af projekterne.”

Effekt ikke altid målbar

Iføl­ge De­loit­tes egen ana­ly­se er det kun om­kring 12 pct. af de dan­ske fon­de, som i dag ar­bej­der ak­tivt med ef­fek­t­må­ling. Iføl­ge fon­de­ne selv skyl­des det blandt an­det, at man­ge pro­jek­ter har en ka­rak­ter, der gør det svært at ud­sæt­te dem for ef­fek­t­må­ling. Og Mi­cha­el Hjort­lund med­giver, at det kan væ­re svært at må­le ef­fek­ten af fon­dens uddelinger:

”Nog­le gan­ge er fon­dens suc­ces i for­hold til stra­te­gi­en ik­ke di­rek­te må­l­bar. Så spørgs­må­let er, hvor­når det er re­le­vant at må­le sam­funds­mæs­sig ef­fekt. Hvis jeg som fond ger­ne vil på­vir­ke an­de­len af un­ge, som får en ud­dan­nel­se ef­ter fol­ke­sko­len, så kan jeg bru­ge 100 mil­li­o­ner kro­ner på et pro­gram til at frem­me for­må­let. Men der er sta­dig 10.000 an­dre fak­to­rer, der og­så på­vir­ker tal­let. Det kan væ­re me­get svært at iso­le­re ef­fek­ten af si­ne eg­ne indsatser.”

Men hvis den di­rek­te ef­fekt af fon­dens ud­de­lin­ger er svær at må­le, må man for­sø­ge at ope­ra­tio­na­li­sere sig ud af pro­ble­mer­ne, me­ner Hjortlund:

”Så kan man i ste­det mo­ni­to­re­re pro­ble­mets om­fang lø­ben­de. Det kal­der på en me­re sofi­sti­ke­ret ef­fek­t­må­ling, hvor man fo­ku­se­rer på de fak­to­rer, som man har di­rek­te ind­fly­del­se på, og hol­der øje med dem. Et ek­sem­pel her er No­vo Nor­disk, som støt­ter forsk­ning i hjer­te­kar­syg­domme. Her må­les ef­fekt ved at se på, om de pro­jek­ter, man har støt­tet, si­ver ud i pa­tient- og læ­ge­vej­led­nin­ger. Men her er ta­le om et me­get kon­kret do­na­tions­om­rå­de. An­dre om­rå­der er svæ­re­re at iso­le­re til den en­kel­te fonds ar­bej­de. Og den­ne form for eva­lu­e­ring kan egent­lig og­så spil­le imod idéen i ka­ta­ly­tisk fonds­ar­bej­de. Her be­gyn­der man jo med at ind­se, at man ik­ke kan lø­se pro­ble­mer­ne ale­ne, men hvem har så egent­lig skabt ef­fek­ten, og kan det ik­ke og­så væ­re li­ge­gyl­digt?” spør­ger Mi­cha­el Hjortlund.

Evaluering ikke altid relevant

Selv­om ef­fek­t­må­ling iføl­ge Mi­cha­el Hjort­lund i frem­ti­den vil fyl­de me­re i fon­de­nes ar­bej­de, så med­fø­rer det ik­ke, at al­le fon­de bør eva­lu­e­re al­ting, for­tæl­ler han.

”Det er ik­ke nød­ven­dig­vis godt med me­re eva­lu­e­ring og fle­re ti­mer brugt på eva­lu­e­ring. I ste­det skal fon­de­ne fin­de ind til det pro­blem, som de vil lø­se. Der­næst skal de gø­re det nemt for be­sty­rel­sen af føl­ge med i, om pro­ble­met er ved at bli­ve løst, så man kan træf­fe en frem­ad­ret­tet be­slut­ning om en­ten at bli­ve ved med at fo­ku­se­re på om­rå­det el­ler prø­ve no­get andet.”

Her kan en op­skrift iføl­ge Hjort­lund væ­re at an­ven­de fle­re da­ta og me­re di­gi­ta­li­se­ring. Et ek­sem­pel kom­mer fra Re­al­da­ni­as ar­bej­de med at løf­te Tøn­der­mar­sken, hvor man gen­nem op­stil­ling af sen­so­rer og over­våg­ning af so­ci­a­le me­di­er lø­ben­de har mo­ni­to­re­ret be­søgstal og an­tal­let af omtaler.

Pe­ter Da­h­ler-Lar­sen an­er­ken­der, at tek­no­lo­gi­en kan hjæl­pe med det prak­ti­ske i ef­fekt­må­ling­er. Men han pe­ger og­så på, at de grund­læg­gen­de van­ske­lig­he­der i ef­fek­t­må­ling sta­dig består.

”Ny tek­no­lo­gi og big da­ta kan væ­re rig­tig smart, og fuld respekt for det. Men jeg er ik­ke over­dre­vent op­ti­mi­stisk i for­hold til tek­no­lo­gi­ens mu­lig­he­der for at lø­se de to grund­læg­gen­de pro­ble­mer i ef­fek­t­må­ling: Må­les der egent­lig på den rig­ti­ge ef­fekt? Og er ef­fek­ten grund­læg­gen­de skabt af ind­sat­sen? Beg­ge pro­ble­mer vil fort­sat ek­si­ste­re uag­tet den tek­no­lo­gi­ske ud­vik­ling,” slut­ter Pe­ter Dahler-Larsen.

Dokumentation

Læs De­loit­tes tren­d­a­na­ly­se her.

Vil du læse artiklen?

Med et abon­ne­ment får du fuld ad­gang til fun​dats​.dk.

Det ko­ster at pro­du­ce­re uaf­hæn­gig og dyb­de­bo­ren­de jour­na­li­stisk. Læs me­re om Fun­dats og se pri­ser­ne for at abon­ne­re her.

Abon­nér

Allerede abonnent? Log ind her:

spot_img

Skribent

Læs mere om

Kategorier:

Tags:

Læs også

Forsiden lige nu

Coronakrise

Serie: Gode Ramme for Gode Donationer