Effektmåling var åbenbart et tema, der kunne lokke folk til Industriens Hus på en smågrå onsdag eftermiddag. Udover repræsentanter fra cirka 40 fonde talte deltagerlisten en bred skare af interesserede fra ministerier, private virksomheder, universiteter, festivaller, tænketanke, NGO’er, konsulentbureauer, advokatfirmaer med mere. Dansk Industri kaldte interessen for ”overvældende”, og i sin velkomst konstaterede Tine Roed, direktør i Dansk Industri, at der sjældent havde været så fyldt i Dansk Industris hovedbestyrelseslokale.
Konsulenthuset Deloitte åbnede eftermiddagens seminar og var repræsenteret ved Senior Manager Bahare Haghshenas. Haghshenas’ præsentation understregede hovedpointerne i Deloittes nyligt publicerede trendrapport, som fortæller, at evaluering vil fylde mere for danske fonde i den kommende tid. Dermed var selve præmissen for eftermiddagens seminar på plads.
Konsulenterne: Brug ressourcerne klogt
Et af de vigtigste formål med effektmåling er at få delt den opsamlede viden, påpegede Haghshenas. For mens man i den offentlige sektor ikke altid har ressourcer til at dele sin viden, og man i den private sektor ikke altid har incitament til at dele sin viden, så ser det anderledes ud for fondene. Her vinder alle ved at blive klogere, og både positive og negative erfaringer bør derfor ideelt set deles.
”Men det handler om at finde evaluerings- og målemetoder, som ikke kræver så mange ressourcer, men som stadig gør det muligt at skabe viden om, hvad der fungerer og ikke fungerer i indsatsen, så man kan stille både de gode og de dårlige erfaringer til rådighed. For dét er en vigtig pointe i fondsarbejde: at man tør at kaste sig ud i højrisikoprojekter. Som fonde sidder I på en enorm mulighed for at drive en samfundsagenda og spille en stor rolle som katalysator for nye løsninger, og netop derfor er effektmåling vigtigt,” sagde Bahare Haghshenas fra Deloitte.
Næste hold på podiet var konsulenthuset Damvad Analytics repræsenteret ved Partner Torben Bundgaard Vad og Managing Partner Kristian Mørk Puggard. Damvad Analytics har både nationalt og internationalt specialiseret sig i dataindsamling, effektmåling og metode. Og også Damvad Analytics talte om at bruge ressourcerne klogt: Relevansen af effektmåling afhænger af fondens størrelse i forhold til de øvrige aktører på området: Jo mere fonden fylder på området, desto mere relevant bliver effektmåling. Og så mindede Damvad Analytics også om nødvendigheden i at huske omkostningerne ved effektmåling – og vigtigheden af at komme tidligt i gang:
”Hvorvidt man bør effektmåle eller ej er altid et spørgsmål om omkostninger i forhold til nytte – både for jer som fonde, for modtagerne og for samfundet. Men hvis man beslutter at effektmåle, så anbefaler vi at samle data ind tidligt i processen. For ellers er man på spanden den dag, man gerne vil vide noget om effekten af et tiltag, og så bliver omkostningerne høje – uanset om de er interne eller eksterne,” sagde Managing Partner Kristian Mørk Puggaard.
Fondene: Få bestyrelsens opbakning
Herefter var det tid til at høre fondenes perspektiv på effektmåling. Fondssiden var repræsenteret ved Novo Nordisk Fonden og Egmont Fonden. Og Thomas Alslev Christensen, Head of Operations ved Novo Nordisk Fonden, understregede – ligesom konsulenthusene – at effektmåling har en pris, der skal kunne retfærdiggøres i fondens overordnede strategi:
”Den store udfordring ved effektmåling er at have opbakning til det fra bestyrelsens side – for man kunne jo også bruge ressourcerne på noget andet end effektmåling. Og derefter må man også have nogen internt, der forstår dataopsamling og forretningen i fonden – hvad er egentlig fondens DNA og kerne, og hvad er derfor vigtigt at måle? Og så må man hele tiden have en diskussion om, hvad der er formålet med effektmåling. Og holde fokus på at levere nogle resultater, så det ikke bliver en studiekreds, men en ting, der kan kommunikeres til samfundet.”
Egmont Fonden var repræsenteret ved analysechef Heidi Sørensen, og hun kunne fortælle, at fonden i 2017 har igangsat en ny strategi, hvor effektmåling og løbende opfølgning fylder meget mere end tidligere.
”Det vigtigste for os er at kunne styre indsatsen og derved sikre, at indsatsen bliver så god som muligt. Det betyder også, at hvis man laver rene effektmåler med en før- og eftermåling, så er projektet måske slut, før man har mulighed for at justere. For os er det ret vigtigt, at man justerer det løbende, så indsatsen bliver så god som muligt undervejs. For mig at se er den helt store udfordring at få viden om, hvordan en indsats virker for slutbrugeren.”
Og ud fra Egmont Fondens første erfaringer med den nye strategi gjorde Heidi Sørensen – som de øvrige oplægsholdere – opmærksom på nødvendigheden at balancere udgiften til effektmåling med andre hensyn:
”For det første må man finde ud af, hvad der skal måles og hvorfor? Man kan hurtigt komme til at bruge en hulens masse konsulentpenge og forskerpenge på at lave store komplicerede effektmålinger, og det tager jo alt sammen penge fra indsatserne. Så man skal finde en balance imellem udgifterne til måling og til indsatser,” sagde Heidi Sørensen fra Egmont Fonden.
Paneldebat: Vigtigt med balance
Og netop spørgsmålet om balance blev også et fokuspunkt i den afsluttende paneldebat. Her blev der fra salen blandt andet spurgt til, om der findes der retningslinjer for, hvor meget af budgettet der bør gå til effektmåling. Fra Novo Nordisk Fonden pointerede Thomas Alslev, at udgifterne til effektmåling hverken bør fylde for meget eller for lidt.
”Personaleomkostningerne i Novo Nordisk Fonden svarer til én procent af vores uddelinger, og det har været stabilt længe. Hvis man også tæller bestyrelse, komitéer, administration og andet med, så har vi en omkostningsprocent for alle driftsomkostninger i forhold til uddelinger på omkring to procent. Det svarer meget godt til de offentlige fonde, hvor omkostningsprocenten ligger mellem to og fem procent. Vi prøver virkelig at holde omkostningerne nede. Og impact assessment (effektmåling) fylder vel fem-seks procent af de samlede driftsomkostninger, så det er faktisk ret beskedent. Og vi spørger os selv, om det er nok. For vi mener også, at universiteter og andre fonde kan have gavn af det, vi laver.”
Og fra Damvad Analytics advarede man også mod at se effektmåling som en ren udgiftspost:
”Hvad er egentlig den største omkostning? Er det at bruge penge på effektmåling eller at bruge penge på projekter, der løber af sporet? Hvis et projekt fejler, så er der for det første en omkostning i den forstand, at man kunne have brugt pengene på noget andet, men også i den forstand, at bevillingsmodtagerne og de andre aktører måske har brugt deres tid forkert. Der hvor man bruger effektmåling rigtig godt, kan man begynde at se på, om et projekt er på sporet eller ej,” sagde Managing Partner Kristian Mørk Puggaard.
Thomas Alslev Christensen fra Novo Nordisk advarede dog imod risikoen for, at effektmåling kan føre til detailstyring, og at det også her er nødvendigt at finde en balance:
”Det er et dilemma, der handler om effektstyring over for effektmåling. Hvis man som fond også vil være med til at styre effekterne af et projekt undervejs, så påtager man sig som fond et stort ansvar, og det vil medføre en masse ekstra omkostninger.”
