KøbenhavnerAkademiet. DrengeAkademiet. Plan T. Læringslokomotivet.
Turboforløbene har flere ting til fælles. Dels er de alle eksempler på indsatser støttet af danske fonde. Dels bygger forløbene i forskellig udstrækning på de såkaldte nationale tests på folkeskoleområdet. For eksempel ved at udvælge deltagerne på baggrund af deres resultater fra de nationale test eller ved at evaluere indsatsernes effekt baseret på de nationale tests.
Men efter den seneste tids debat om kvaliteten af de nationale tests er det et åbent spørgsmål, om turboforløbene og deres evalueringer skal tages op til revision. Selvom forskerne er enige om, at de nationale tests kunne være mere præcise, så varierer forskernes vurdering af, om turboforløbene er påvirket afgørende af de nationale tests omdiskuterede kvalitet.
“Genbesøg resultaterne”
Kritikken af de nationale tests tog for alvor fart, da de to forskere professor Jeppe Bundsgaard (DPU, AU) og professor emeritus Svend Kreiner (KU) i slutningen af marts publicerede en rapport og en kronik, der anklagede de nationale tests for at være af for dårlig kvalitet. Især de fagligt dygtigste og de fagligt svageste elevers niveau måler testen ofte forkert, og derudover kan lærerne ikke bruge de nationale tests i deres daglige arbejde, lød nogle af kritikpunkterne fra Bundsgaard og Kreiner.
Og på grund af problemerne, bør indsatser baseret på de nationale tests tages op til revision, anbefalede forskerne:
“Denne undersøgelse må resultere i, at resultater fra forskning og evaluering, der har taget udgangspunkt i data fra nationale test, tages op til fornyet undersøgelse,” lyder det således i rapportens konklusion.
Christian Christrup Kjeldsen er lektor på DPU. Han er enig med rapportens konklusion og mener, at fonde, som har baseret deres folkeskoleindsatser helt eller delvist på resultater fra de nationale tests, nu bør reagere på den senere tids kritik:
“Fondene skal tage resultaterne op igen og på baggrund af den solide og velgennemarbejdede rapport fra Jeppe Bundsgaard og Svend Kreiner overveje, om resultaterne stadig er tilstrækkeligt pålidelige. Og så skal de kigge på, om måleusikkerheden i prøverne kan betyde, at fondene er kommet til at finde effekter, som faktisk ikke er der,” siger Christian Kjeldsen.
“Konklusionen er urimelig”
Mens altså både rapportforfatterne Jeppe Bundsgaard og Svend Kreiner, samt lektor Christian Kjeldsen opfordrer fondene til at revurdere resultaterne fra indsatser baseret på de nationale tests, så er andre stemmer i debatten mindre kritiske over for anvendeligheden af resultater fra de nationale tests.
Én af dem er professor Simon Calmar Andersen, der er chef for Trygfondens Børneforskningscenter, som har brugt resultater fra de nationale tests i en række undersøgelser:
“Som jeg hører kritikken fra bl.a. Svend Kreiner og Jeppe Bundsgaard, så siger de: ‘Fordi der er usikkerheder i de nationale tests, så kan vi ikke stole på forskningsresultaterne.’ Men at konkludere sådan er efter min mening helt urimeligt,” siger Simon Calmar Andersen og uddyber:
“Når man laver den type studier, som Trygfonden og andre fonde har finansieret – typisk lodtrækningsforsøg, hvor man sammenligner en indsatsgruppe med en kontrolgruppe – så ved man godt, at der er en usikkerhed på de mål, man bruger. Når man sammenligner den ene gruppe med den anden, så tester man for, om forskellene i gruppernes resultater er så store, at det bliver usandsynligt, at forskellen skulle skyldes tilfældigheder som f.eks. usikkerheder i målingen,” siger Simon Calmar Andersen.
Man skal virkelig komme op med en kompliceret historie, hvis man skal stille spørgsmål ved nogle af de konklusioner, som jeg i hvert fald kender, der er fremkommet på baggrund af de nationale tests
Kim Mannemar Sønderskov – professor, Aarhus Universitet
Professor Kim Mannemar Sønderskov fra Aarhus Universitet har ikke publiceret forskning baseret på de nationale tests, men hans arbejde baserer sig i vid udstrækning på statistiske metoder. Han er enig med Simon Calmar Andersen i, at usikkerhederne ved de nationale tests ikke bør give anledning til stor bekymring:
“Man skal virkelig komme op med en kompliceret historie, hvis man skal stille spørgsmål ved nogle af de konklusioner, som jeg i hvert fald kender, der er fremkommet på baggrund af de nationale tests,” siger Kim Sønderskov.
“Klap hesten”
Professor emeritus Peter Allerup fra DPU sidder i en gruppe af fagpersoner, der er blevet bedt om at rådgive Undervisningsministeriet om evaluering af de nationale tests. Arbejdet blev sat i værk i sommeren 2018 og løber frem til 2019.
Med i rådgivningsgruppen sidder også de to rapportforfattere Jeppe Bundsgaard og Svend Kreiner. Peter Allerup mener, at den kritiske rapport kommer på et problematisk tidspunkt:
“Vi er altså midt i en proces, hvor jeg har den mening, at Svend og Jeppe har på utidig facon kommet ind fra venstre og sagt ‘så kan I godt smide blyanten, venner, det dér duer overhovedet ikke’. Og det mener jeg er forkert. Jeg er selv af det synspunkt, at selvfølgelig er der fejl i de nationale tests, og de skal repareres. Og de fleste som støtter grundelementet i de nationale tests bakker nok også op om det,” siger Peter Allerup og fortsætter:
Der er tre overordnede kritikpunkter. De skal selvfølgelig løses, og det bliver de. Men jeg må også opfordre til at klappe hesten.
Peter Allerup – professor emeritus, DPU
“Der er tre overordnede kritikpunkter. De skal selvfølgelig løses, og det bliver de. Men jeg må også opfordre til at klappe hesten.”
Ifølge Peter Allerup er der for det første en ‘naturlig usikkerhed’ knyttet til de nationale tests. Men den må man acceptere, selvom man kan forsøge at mindske den:
“Forestil dig at du kaster en almindelig mønt for at slå plat eller krone. Sandsynligheden for at få krone ligger meget tæt på 50 pct., men selvom du kaster mønten 20 gange, slår du ikke nødvendigvis krone 10 gange. Antallet vil variere, selvom mønten ikke er skæv. Der er tale om en type naturlig usikkerhed, som man aldrig kan komme til livs. Den findes også i de nationale tests, men er faktisk mindre her end i en række andre lignende tests,” forklarer Peter Allerup.
For det andet er der ifølge Peter Allerup en type usikkerhed i de nationale tests, som handler om den såkaldte ‘standard error of measurement’. Usikkerheden kan mindskes, men det har ifølge Allerup en høj omkostning:
“Et af Jeppe Bundsgaard og Svend Kreiners argumenter er, at håndteringen af denne usikkerhed i de nationale tests er utilstrækkelig. Men kritikken er efter min mening overdrevet, for ifølge Bundsgaard selv ville man skulle tredoble antallet af opgaver i testen for at mindske denne form for usikkerhed. Dermed vil en standardtest tage omkring to timer, og det er tæt på at være en uhyrlighed,” siger Peter Allerup.
Ifølge Peter Allerup knytter den sidste form for usikkerhed sig til det såkaldte adaptive system, som de nationale tests benytter til at tilpasse testens sværhedsgrad til elevernes niveau:
“Når man benytter det adaptive system og skal beregne elevens dygtighed, så bliver man nødt til at kende opgavernes teoretiske sværhedsgrad. Og her kommer Kreiners og Bundsgaard tredje anke ind, for de mener, at opgavernes beregnede sværhedsgrad giver et misvisende billede af elevernes dygtighed. Men de udregninger har jeg faktisk efterprøvet, og kort sagt er de nationale tests relativt robuste på det her område,” siger Peter Allerup.
Fondene bør se på resultater med lidt større kritisk blik
Selvom Peter Allerup er enig i, at de nationale tests kan forbedres på en række områder, så advarer han imod at tolke kritikken for hårdt:
“Hvis man går fra en opfattelse om, at jorden er centrum for universet til den opfattelse, som Copernicus lagde ryg til, at det er solen som er centrum, er der tale om et paradigmeskift som lægger erfaringer, beregninger og hidtil forståelse på hylden – altså total kassation. Sådan er situationen ikke med de nationale tests – før og efter den rejste kritik,” siger Peter Allerup og uddyber:
“De nationale tests er baseret på nogle psykometriske teorier, som samtlige forskere, kritikere såvel som andre, accepterer som et validt teoretisk grundlag for testning. Når praktiske erfaringer over nogle år med implementeringen af denne teori i de nationale tests derefter fremviser problemer med præcision, er der kun ét at gøre: Reparer testene! Lad være med at kassere!” siger Peter Allerup.
Efter hans vurdering er de fleste fondsstøttede indsatser ikke i fare for at konkludere skævt, fordi de tager udgangspunkt i grupper frem for enkelte elever:
“Men kig på de resultater, som forskningsundersøgelser med de nationale tests har frembragt via belyste forskelle mellem elevgrupper med lidt større kritiske blikke, end man måske gjorde oprindelig. Og vær så i øvrigt glad for, at de fleste fondsstøttede projekter handler om eventuelle forskelle mellem grupper af elever og ikke enkelt-individ-forskelle, så de på denne måde følger velkendte råd til analytikere af de internationale PISA-, TIMSS- og PIRLS-data, hvor man fra første dag lærer ikke at se på enkelt-individer,” slutter Peter Allerup.
