Skal fonde effektmåle for at få mest mulig gavn af uddelingerne? Eller for at legitimere de samfundsforandringer, de skaber? Eller bør fondene i stedet besinde sig, så effektmåling ikke begrænser deres filantropiske indsatser?
Nyhedsbrevet Danmarks Fonde har talt med to evalueringseksperter – en praktiker og en teoretiker:
Michael Hjortlund er partner i Deloitte Consulting Monitor. Han er desuden oplægsholder ved Dansk Industris seminar den 7. februar om ’Effektmåling af fondenes uddelinger’. Peter Dahler-Larsen er professor ved Københavns Universitet, og leder af Center for Resultater, Evaluering, Måling og Effekt (CREME).
Deloitte udsendte for nylig en såkaldt trendrapport om danske fonde baseret på interviews med 16 af Danmarks største fonde og en spørgeskemaundersøgelse sendt ud til 40 yderligere fonde. I rapporten skriver Deloitte blandt andet, at danske fonde i stigende grad får fokus på at løse større samfundsproblemer - via såkaldt katalytisk filantropi - og at effektmåling derfor bliver ’det nye sort.’
”Hvis jeg var en gammeldags fond og delte penge ud til musikskolens klaverer, så ville jeg ikke have behov for effektmåling. Men i takt med at fondene sætter sig strategiske mål om f.eks. at øge kvaliteten af de naturvidenskabelige kandidater eller ph.d.er eller om at mindske mistrivsel hos børn og unge, så må strategien udsættes for effektmåling. Det er nødvendigt for at forstå, om pengene bliver brugt fornuftigt. Bestyrelserne må flytte fokus fra, om pengene er brugt på den rigtige målgruppe til, om pengene er brugt effektivt,” siger Michael Hjortlund.
Ekspert: Evaluering har altid en pris
Professor Peter Dahler-Larsen forsker i evaluering ved Københavns Universitet. Han genkender billedet af en stigende opmærksomhed på evaluering blandt danske fonde. Men han maner til besindighed, inden danske fonde ukritisk accepterer et evalueringsregime.
”Man skal ikke kaste sig ud i evaluering, blot fordi det er moderne. Det er nødvendigt med kølige overvejelser om fordele og ulemper og diskussioner om, hvordan pengene kan strækkes længst muligt. Der er altid bindinger og omkostninger ved evaluering. Både for donationsmodtagere, der eventuelt forventes at dokumentere en effekt, og fordi en beslutning om at evaluere binder fondene tematisk i forhold til de projekter, som de kan støtte,” siger han.
Som eksempel nævner Peter Dahler-Larsen, at visse typer fondsprojekter sættes i verden mere som en kærlighedsgerning end med en forventning om målbar nytteeffekt.
”Evaluering er ikke et neutralt redskab. Det er en aktiv medspiller, der griber ind i, hvad man giver penge til.”
”Det er altid sværere at måle effekter af et langstrakt forebyggende arbejde end af kort brandslukning. Hvis man eksempelvis vil hjælpe meget små børn, så kan effekten være vanskelig at eftervise i mange, mange år. Eller måske vil man som fond gøre en ren kærlighedsgerning – som Blå Kors, der har en ambition om at hjælpe, når alle andre har opgivet. Her skal man som fond passe på ikke at skabe en binding omkring, hvem der kan få penge, fordi man insisterer på effektmåling. Evaluering er ikke et neutralt redskab. Det er en aktiv medspiller, der griber ind i, hvad man giver penge til. Fondene har en unik frihed, som de skal være varsomme med at opgive ved at underlægge sig et diffust evalueringskrav.”
Både succeser og fiaskoer bør deles
Men partner i Deloitte, Michael Hjortlund er ikke nervøs for, at fondenes øgede brug af effektmåling vil resultere i, at projekter støttes eller igangsættes, fordi de er lette at måle effekt på.
”Det øgede fokus på effektmåling kommer ikke til at ændre ret meget på fondenes udvælgelse af problemer eller deres metoder til at løse dem, som vi ellers har set i den amerikanske virksomhedskultur. Men fondene kan lære meget ved at analysere deres indsatsområde ved hjælp af data. For en god problem-analyse er forudsætningen for en god programteori, der igen er forudsætningen for en god evaluering,” siger Michael Hjortlund.
Både danske og udenlandske undersøgelser tegner et billede af, at fonde er mest åbne om de initiativer, hvor evalueringen falder positivt ud. Men ifølge Michael Hjortlund er det nødvendigt for fondene også at dele de negative evalueringer med omverdenen, og her er der plads til forbedring.
”Der er ikke nogen udpræget tendens til, at fondene i den bredere offentlighed deler viden om projekter, som ikke har ført til noget, eller som ikke er lykkedes. Det er der i øvrigt ikke noget sted i verden. Men de mislykkede projekter er faktisk meget interessante. For fondene har jo risikovillige midler, som kan bruges til indsatser, som netop ikke er sikre på at lykkes. Villigheden til at løbe en risiko er en kæmpestor fordel ved fondene. Derfor kunne en stærkere deling af viden om projekter, som ikke er lykkedes, være en fantastisk guideline for at lære omverdenen, at dét her fungerer ikke,” siger Michael Hjortlund og fortsætter:
”I USA bevæger man sig mod mere åbenhed om fejlskud i organisationer som f.eks. Google. Her ser man medarbejdere præsentere sig ved at annoncere, at det var dém, der fejlede stort med dette eller hint projekt. For de mislykkede projekter findes jo, og det skal de netop gøre. Hvis en fondsbestyrelse konstaterer, at 100 pct. af de støttede projekter er lykkedes, så må man stille spørgsmål ved, om fonden har haft en afgørende rolle i projekternes succes, eller om effekten ville være indtrådt uanset indsatsen. For at flytte noget må man derud, hvor det ikke lykkes hver gang. For netop her kan den almindelige kapital ikke hjælpe; hvis projekterne er risikable, vil det offentlige eller banken ofte ikke være med.”
Men fejlskud er kun produktive, hvis de erkendes åbent og deles bredt, siger Hjortlund:
”Fondene må sørge for at dele erfaringerne. Fejltagelser eller projekter, som ikke lod sig gøre, er mindst lige så vigtige at dele, som projekter, der er gået supergodt. For ellers undgår man ikke, at fejlene bliver gentaget. Og i modsætning til visse andre virksomheder, har fondene ingen interesse i, at andre begår fejl. Derfor er det meget vigtigt at fokusere på, hvordan man kan få læring ud af projekterne.”
Effekt ikke altid målbar
Ifølge Deloittes egen analyse er det kun omkring 12 pct. af de danske fonde, som i dag arbejder aktivt med effektmåling. Ifølge fondene selv skyldes det blandt andet, at mange projekter har en karakter, der gør det svært at udsætte dem for effektmåling. Og Michael Hjortlund medgiver, at det kan være svært at måle effekten af fondens uddelinger:
”Nogle gange er fondens succes i forhold til strategien ikke direkte målbar. Så spørgsmålet er, hvornår det er relevant at måle samfundsmæssig effekt. Hvis jeg som fond gerne vil påvirke andelen af unge, som får en uddannelse efter folkeskolen, så kan jeg bruge 100 millioner kroner på et program til at fremme formålet. Men der er stadig 10.000 andre faktorer, der også påvirker tallet. Det kan være meget svært at isolere effekten af sine egne indsatser.”
Men hvis den direkte effekt af fondens uddelinger er svær at måle, må man forsøge at operationalisere sig ud af problemerne, mener Hjortlund:
”Så kan man i stedet monitorere problemets omfang løbende. Det kalder på en mere sofistikeret effektmåling, hvor man fokuserer på de faktorer, som man har direkte indflydelse på, og holder øje med dem. Et eksempel her er Novo Nordisk, som støtter forskning i hjertekarsygdomme. Her måles effekt ved at se på, om de projekter, man har støttet, siver ud i patient- og lægevejledninger. Men her er tale om et meget konkret donationsområde. Andre områder er sværere at isolere til den enkelte fonds arbejde. Og denne form for evaluering kan egentlig også spille imod idéen i katalytisk fondsarbejde. Her begynder man jo med at indse, at man ikke kan løse problemerne alene, men hvem har så egentlig skabt effekten, og kan det ikke også være ligegyldigt?” spørger Michael Hjortlund.
Evaluering ikke altid relevant
Selvom effektmåling ifølge Michael Hjortlund i fremtiden vil fylde mere i fondenes arbejde, så medfører det ikke, at alle fonde bør evaluere alting, fortæller han.
”Det er ikke nødvendigvis godt med mere evaluering og flere timer brugt på evaluering. I stedet skal fondene finde ind til det problem, som de vil løse. Dernæst skal de gøre det nemt for bestyrelsen af følge med i, om problemet er ved at blive løst, så man kan træffe en fremadrettet beslutning om enten at blive ved med at fokusere på området eller prøve noget andet.”
Her kan en opskrift ifølge Hjortlund være at anvende flere data og mere digitalisering. Et eksempel kommer fra Realdanias arbejde med at løfte Tøndermarsken, hvor man gennem opstilling af sensorer og overvågning af sociale medier løbende har monitoreret besøgstal og antallet af omtaler.
Peter Dahler-Larsen anerkender, at teknologien kan hjælpe med det praktiske i effektmålinger. Men han peger også på, at de grundlæggende vanskeligheder i effektmåling stadig består.
”Ny teknologi og big data kan være rigtig smart, og fuld respekt for det. Men jeg er ikke overdrevent optimistisk i forhold til teknologiens muligheder for at løse de to grundlæggende problemer i effektmåling: Måles der egentlig på den rigtige effekt? Og er effekten grundlæggende skabt af indsatsen? Begge problemer vil fortsat eksistere uagtet den teknologiske udvikling,” slutter Peter Dahler-Larsen.
