Her står fondene efter kritik af nationale tests

En ræk­ke dan­ske fon­de har be­vil­get pen­ge til ind­sat­ser og føl­ge­forsk­ning ba­se­ret på de kri­ti­se­re­de na­tio­na­le tests. Men selv­om for­ske­re på om­rå­det er eni­ge om, at te­ste­ne kun­ne væ­re me­re præ­ci­se, er de ik­ke eni­ge om konse­kven­serne for de fonds­finan­sierede indsatser.

Nationale test – sæt to streger
“Fon­de­ne skal ta­ge re­sul­ta­ter­ne op igen og på bag­grund af den so­li­de og vel­gen­ne­m­ar­bej­de­de rap­port fra Jep­pe Bunds­gaard og Svend Kre­i­ner over­ve­je, om re­sul­ta­ter­ne sta­dig er til­stræk­ke­ligt på­li­de­li­ge," si­ger Chri­sti­an Chri­strup Kjeld­sen, lek­tor på DPU.

Kø­ben­hav­nerA­ka­de­mi­et. Dren­ge­A­ka­de­mi­et. Plan T. Læringslokomotivet.

Tur­bo­for­lø­be­ne har fle­re ting til fæl­les. Dels er de al­le ek­semp­ler på ind­sat­ser støt­tet af dan­ske fon­de. Dels byg­ger for­lø­be­ne i for­skel­lig ud­stræk­ning på de så­kald­te na­tio­na­le tests på fol­ke­sko­le­om­rå­det. For ek­sem­pel ved at ud­væl­ge del­ta­ger­ne på bag­grund af de­res re­sul­ta­ter fra de na­tio­na­le test el­ler ved at eva­lu­e­re ind­sat­ser­nes ef­fekt ba­se­ret på de na­tio­na­le tests.

Men ef­ter den se­ne­ste tids de­bat om kva­li­te­ten af de na­tio­na­le tests er det et åbent spørgs­mål, om tur­bo­for­lø­be­ne og de­res eva­lu­e­rin­ger skal ta­ges op til re­vi­sion. Selv­om for­sker­ne er eni­ge om, at de na­tio­na­le tests kun­ne væ­re me­re præ­ci­se, så va­ri­e­rer for­sker­nes vur­de­ring af, om tur­bo­for­lø­be­ne er på­vir­ket af­gø­ren­de af de na­tio­na­le tests om­dis­ku­te­re­de kvalitet.

“Genbesøg resultaterne”

Kri­tik­ken af de na­tio­na­le tests tog for al­vor fart, da de to for­ske­re pro­fes­sor Jep­pe Bunds­gaard (DPU, AU) og pro­fes­sor eme­ri­tus Svend Kre­i­ner (KU) i slut­nin­gen af marts pu­bli­ce­re­de en rap­port og en kro­nik, der an­kla­ge­de de na­tio­na­le tests for at væ­re af for dår­lig kva­li­tet. Især de fag­ligt dyg­tig­ste og de fag­ligt sva­ge­ste ele­vers ni­veau må­ler te­sten of­te for­kert, og der­u­d­over kan læ­rer­ne ik­ke bru­ge de na­tio­na­le tests i de­res dag­li­ge ar­bej­de, lød nog­le af kri­tik­punk­ter­ne fra Bunds­gaard og Kreiner.

Og på grund af pro­ble­mer­ne, bør ind­sat­ser ba­se­ret på de na­tio­na­le tests ta­ges op til re­vi­sion, an­be­fa­le­de forskerne:

“Den­ne un­der­sø­gel­se må re­sul­te­re i, at re­sul­ta­ter fra forsk­ning og eva­lu­e­ring, der har ta­get ud­gangs­punkt i da­ta fra na­tio­na­le test, ta­ges op til for­ny­et un­der­sø­gel­se,” ly­der det så­le­des i rap­por­tens konklusion.

Chri­sti­an Chri­strup Kjeld­sen er lek­tor på DPU. Han er enig med rap­por­tens kon­klu­sion og me­ner, at fon­de, som har ba­se­ret de­res fol­ke­sko­le­ind­sat­ser helt el­ler del­vist på re­sul­ta­ter fra de na­tio­na­le tests, nu bør re­a­ge­re på den se­ne­re tids kritik:

“Fon­de­ne skal ta­ge re­sul­ta­ter­ne op igen og på bag­grund af den so­li­de og vel­gen­ne­m­ar­bej­de­de rap­port fra Jep­pe Bunds­gaard og Svend Kre­i­ner over­ve­je, om re­sul­ta­ter­ne sta­dig er til­stræk­ke­ligt på­li­de­li­ge. Og så skal de kig­ge på, om måleu­sik­ker­he­den i prø­ver­ne kan be­ty­de, at fon­de­ne er kom­met til at fin­de ef­fek­ter, som fak­tisk ik­ke er der,” si­ger Chri­sti­an Kjeldsen.

“Konklusionen er urimelig”

Mens alt­så bå­de rap­port­for­fat­ter­ne Jep­pe Bunds­gaard og Svend Kre­i­ner, samt lek­tor Chri­sti­an Kjeld­sen op­for­drer fon­de­ne til at re­vur­de­re re­sul­ta­ter­ne fra ind­sat­ser ba­se­ret på de na­tio­na­le tests, så er an­dre stem­mer i de­bat­ten min­dre kri­ti­ske over for an­ven­de­lig­he­den af re­sul­ta­ter fra de na­tio­na­le tests.

Én af dem er pro­fes­sor Si­mon Cal­mar An­der­sen, der er chef for Tryg­fon­dens Bør­ne­forsk­nings­cen­ter, som har brugt re­sul­ta­ter fra de na­tio­na­le tests i en ræk­ke undersøgelser:

“Som jeg hø­rer kri­tik­ken fra bl.a. Svend Kre­i­ner og Jep­pe Bunds­gaard, så si­ger de: ‘For­di der er usik­ker­he­der i de na­tio­na­le tests, så kan vi ik­ke sto­le på forsk­nings­re­sul­ta­ter­ne.’ Men at kon­klu­de­re så­dan er ef­ter min me­ning helt uri­me­ligt,” si­ger Si­mon Cal­mar An­der­sen og uddyber:

“Når man la­ver den ty­pe stu­di­er, som Tryg­fon­den og an­dre fon­de har fi­nan­si­e­ret – ty­pisk lod­træk­nings­for­søg, hvor man sam­men­lig­ner en ind­sats­grup­pe med en kon­trol­grup­pe – så ved man godt, at der er en usik­ker­hed på de mål, man bru­ger. Når man sam­men­lig­ner den ene grup­pe med den an­den, så te­ster man for, om for­skel­le­ne i grup­per­nes re­sul­ta­ter er så sto­re, at det bli­ver us­and­syn­ligt, at for­skel­len skul­le skyl­des til­fæl­dig­he­der som f.eks. usik­ker­he­der i må­lin­gen,” si­ger Si­mon Cal­mar Andersen.

Man skal vir­ke­lig kom­me op med en kom­pli­ce­ret hi­sto­rie, hvis man skal stil­le spørgs­mål ved nog­le af de kon­klu­sio­ner, som jeg i hvert fald ken­der, der er frem­kom­met på bag­grund af de na­tio­na­le tests

Kim Man­ne­mar Søn­der­skov – pro­fes­sor, Aar­hus Universitet

Pro­fes­sor Kim Man­ne­mar Søn­der­skov fra Aar­hus Uni­ver­si­tet har ik­ke pu­bli­ce­ret forsk­ning ba­se­ret på de na­tio­na­le tests, men hans ar­bej­de ba­se­rer sig i vid ud­stræk­ning på sta­ti­sti­ske me­to­der. Han er enig med Si­mon Cal­mar An­der­sen i, at usik­ker­he­der­ne ved de na­tio­na­le tests ik­ke bør gi­ve an­led­ning til stor bekymring:

“Man skal vir­ke­lig kom­me op med en kom­pli­ce­ret hi­sto­rie, hvis man skal stil­le spørgs­mål ved nog­le af de kon­klu­sio­ner, som jeg i hvert fald ken­der, der er frem­kom­met på bag­grund af de na­tio­na­le tests,” si­ger Kim Sønderskov.

“Klap hesten”

Pro­fes­sor eme­ri­tus Pe­ter Al­lerup fra DPU sid­der i en grup­pe af fag­per­so­ner, der er ble­vet bedt om at rå­d­gi­ve Un­der­vis­nings­mi­ni­ste­ri­et om eva­lu­e­ring af de na­tio­na­le tests. Ar­bej­det blev sat i værk i som­me­ren 2018 og lø­ber frem til 2019.

Med i rå­d­giv­nings­grup­pen sid­der og­så de to rap­port­for­fat­te­re Jep­pe Bunds­gaard og Svend Kre­i­ner. Pe­ter Al­lerup me­ner, at den kri­ti­ske rap­port kom­mer på et pro­ble­ma­tisk tidspunkt:

“Vi er alt­så midt i en pro­ces, hvor jeg har den me­ning, at Svend og Jep­pe har på uti­dig fa­con kom­met ind fra ven­stre og sagt ‘så kan I godt smi­de bly­an­ten, ven­ner, det dér du­er over­ho­ve­det ik­ke’. Og det me­ner jeg er for­kert. Jeg er selv af det syns­punkt, at selv­føl­ge­lig er der fejl i de na­tio­na­le tests, og de skal re­pa­re­res. Og de fle­ste som støt­ter grund­ele­men­tet i de na­tio­na­le tests bak­ker nok og­så op om det,” si­ger Pe­ter Al­lerup og fortsætter:

Der er tre over­ord­ne­de kri­tik­punk­ter. De skal selv­føl­ge­lig lø­ses, og det bli­ver de. Men jeg må og­så op­for­dre til at klap­pe hesten.

Pe­ter Al­lerup – pro­fes­sor eme­ri­tus, DPU

“Der er tre over­ord­ne­de kri­tik­punk­ter. De skal selv­føl­ge­lig lø­ses, og det bli­ver de. Men jeg må og­så op­for­dre til at klap­pe hesten.”

Iføl­ge Pe­ter Al­lerup er der for det før­ste en ‘na­tur­lig usik­ker­hed’ knyt­tet til de na­tio­na­le tests. Men den må man ac­cep­te­re, selv­om man kan for­sø­ge at mind­ske den:

“Fo­re­stil dig at du ka­ster en al­min­de­lig mønt for at slå plat el­ler kro­ne. Sand­syn­lig­he­den for at få kro­ne lig­ger me­get tæt på 50 pct., men selv­om du ka­ster mønt­en 20 gan­ge, slår du ik­ke nød­ven­dig­vis kro­ne 10 gan­ge. An­tal­let vil va­ri­e­re, selv­om mønt­en ik­ke er skæv. Der er ta­le om en ty­pe na­tur­lig usik­ker­hed, som man al­drig kan kom­me til livs. Den fin­des og­så i de na­tio­na­le tests, men er fak­tisk min­dre her end i en ræk­ke an­dre lig­nen­de tests,” for­kla­rer Pe­ter Allerup.

For det an­det er der iføl­ge Pe­ter Al­lerup en ty­pe usik­ker­hed i de na­tio­na­le tests, som hand­ler om den så­kald­te ‘stan­dard er­ror of mea­su­re­ment’. Usik­ker­he­den kan mind­skes, men det har iføl­ge Al­lerup en høj omkostning:

“Et af Jep­pe Bunds­gaard og Svend Kre­i­ners ar­gu­men­ter er, at hånd­te­rin­gen af den­ne usik­ker­hed i de na­tio­na­le tests er util­stræk­ke­lig. Men kri­tik­ken er ef­ter min me­ning over­dre­vet, for iføl­ge Bunds­gaard selv vil­le man skul­le tredob­le an­tal­let af op­ga­ver i te­sten for at mind­ske den­ne form for usik­ker­hed. Der­med vil en stan­dard­test ta­ge om­kring to ti­mer, og det er tæt på at væ­re en uhyr­lig­hed,” si­ger Pe­ter Allerup.

Iføl­ge Pe­ter Al­lerup knyt­ter den sid­ste form for usik­ker­hed sig til det så­kald­te adap­ti­ve sy­stem, som de na­tio­na­le tests be­nyt­ter til at til­pas­se te­stens svær­heds­grad til ele­ver­nes niveau:

“Når man be­nyt­ter det adap­ti­ve sy­stem og skal be­reg­ne ele­vens dyg­tig­hed, så bli­ver man nødt til at ken­de op­ga­ver­nes te­o­re­ti­ske svær­heds­grad. Og her kom­mer Kre­i­ners og Bunds­gaard tred­je an­ke ind, for de me­ner, at op­ga­ver­nes be­reg­ne­de svær­heds­grad gi­ver et mis­vi­sen­de bil­le­de af ele­ver­nes dyg­tig­hed. Men de ud­reg­nin­ger har jeg fak­tisk ef­ter­prø­vet, og kort sagt er de na­tio­na­le tests re­la­tivt ro­bu­ste på det her om­rå­de,” si­ger Pe­ter Allerup.

Fondene bør se på resultater med lidt større kritisk blik

Selv­om Pe­ter Al­lerup er enig i, at de na­tio­na­le tests kan for­bed­res på en ræk­ke om­rå­der, så ad­va­rer han imod at tol­ke kri­tik­ken for hårdt:

“Hvis man går fra en op­fat­tel­se om, at jor­den er cen­trum for uni­ver­set til den op­fat­tel­se, som Co­per­ni­cus lag­de ryg til, at det er so­len som er cen­trum, er der ta­le om et pa­ra­dig­meskift som læg­ger er­fa­rin­ger, be­reg­nin­ger og hidtil for­stå­el­se på hyl­den – alt­så to­tal kas­sa­tion. Så­dan er si­tu­a­tio­nen ik­ke med de na­tio­na­le tests – før og ef­ter den rej­ste kri­tik,” si­ger Pe­ter Al­lerup og uddyber:

“De na­tio­na­le tests er ba­se­ret på nog­le psy­ko­me­tri­ske te­o­ri­er, som samt­li­ge for­ske­re, kri­ti­ke­re så­vel som an­dre, ac­cep­te­rer som et va­lidt te­o­re­tisk grund­lag for test­ning. Når prak­ti­ske er­fa­rin­ger over nog­le år med im­ple­men­te­rin­gen af den­ne te­o­ri i de na­tio­na­le tests der­ef­ter frem­vi­ser pro­ble­mer med præ­ci­sion, er der kun ét at gø­re: Re­pa­rer te­ste­ne! Lad væ­re med at kas­se­re!” si­ger Pe­ter Allerup.

Ef­ter hans vur­de­ring er de fle­ste fonds­støt­te­de ind­sat­ser ik­ke i fa­re for at kon­klu­de­re skævt, for­di de ta­ger ud­gangs­punkt i grup­per frem for en­kel­te elever:

“Men kig på de re­sul­ta­ter, som forsk­nings­un­der­sø­gel­ser med de na­tio­na­le tests har frem­bragt via be­ly­ste for­skel­le mel­lem elev­grup­per med lidt stør­re kri­ti­ske blik­ke, end man må­ske gjor­de op­rin­de­lig. Og vær så i øv­rigt glad for, at de fle­ste fonds­støt­te­de pro­jek­ter hand­ler om even­tu­el­le for­skel­le mel­lem grup­per af ele­ver og ik­ke en­kelt-in­­di­vid-for­­skel­­le, så de på den­ne må­de føl­ger vel­kend­te råd til ana­ly­ti­ke­re af de in­ter­na­tio­na­le PISA-, TIMSS- og PIRLS-da­­ta, hvor man fra før­ste dag læ­rer ik­ke at se på en­kelt-in­­di­vi­­der,” slut­ter Pe­ter Allerup.

Vil du læse artiklen?

Med et abon­ne­ment får du fuld ad­gang til fun​dats​.dk.

Det ko­ster at pro­du­ce­re uaf­hæn­gig og dyb­de­bo­ren­de jour­na­li­stisk. Læs me­re om Fun­dats og se pri­ser­ne for at abon­ne­re her.

Abon­nér

Allerede abonnent? Log ind her:

Skri­bent

Læs me­re om

Ka­te­go­ri­er:

Tags:

Læs også

Forsiden lige nu

Coronakrise

Serie: Gode Ramme for Gode Donationer

Vil du læse artiklen?

Med et abon­ne­ment får du fuld ad­gang til fun​dats​.dk.

Det ko­ster at pro­du­ce­re uaf­hæn­gig og dyb­de­bo­ren­de jour­na­li­stisk. Læs me­re om Fun­dats og se pri­ser­ne for at abon­ne­re her.

Abon­nér

Allerede abonnent? Log ind her: