John Hattie har initierat omfattande mycket uppmärksammade och uppskattade metastudier om statistiska samband mellan å ena sidan  elevers resultat eller framsteg, och å andra sidan olika insatser eller faktorer, som skulle kunna ha någon påverkan på dessa resultat eller framsteg. Genomförandet, resultaten och tolkningarna av dessa metastudier har presenterats i olika publikationer och föredrag. Naturligtvis har både underlag, metoder, resultat och slutsatser ifrågasatts och kritiserats! Syftet med att inom forskningen publicera sina metoder, analyser och hypoteser är just att få dem granskade och ifrågasatta, som ett led i kvalitetssäkringsprocessen.

Nedan följer ett resonemang¹ om ett par av dessa ifrågasättanden och invändningar. Dock har Hatties förslag till konkreta åtgärder, när det gäller förbättring av skolan, fått en mycket bred uppslutning och ligger i linje med vad som andra undersökningar och  forskningsansatser pekat på. Först något om invändningarna. Under rubriken "Kärnan i synligt lärande" i vänstermenyn presenteras de praktiska åtgärder Hattie föreslår.

Invändning 1: Hatties metastudier baseras helt på statistiska samband, korrelationer, och dessa säger i sig inget om eventuella orsakssamband, kausalitet.
Korrekt. Detta är rent allmänt oftast en svårighet inom samhälls- och beteendevetenskap. De dubbelblindtester man använder vid utprovning av nya medicener förutsätter att varken patient eller ordinerande läkare vet, vilka patienter som fått verksam medicin och vilka som fått "sockerpiller". Man har ju i dessa fall problemet att för vissa patienter försvinner symptomen/sjukdomen helt utan behandling; immunförsvar etc. En något större andel kan i allmänhet "botas" genom placeboeffekten; att patient och läkare tror att det handlat om en "verksam" behandling medan det i verkligheten bara varit sockerpiller. I de fall den testade substansen i sig verkligen har någon påverkan, har en ännu större andel av dem som medicinerats med "riktig" medicin blivit botade. Det är bara denna ytterligare ökade andel just i den senare tredje gruppen, som är ett mått på substansens verkliga påverkan.  Det krävs dubbelblindtester för att man skall kunna avgöra i vilken grad uppmätt påverkan verkligen orsakats av de testade substanserna.

När det gäller Hatties mått "effektstorlek", är detta enbart baserat på statistiska samband, korrelation, och då kan man inte skilja de tre typerna av effekter ovan från varandra. Det kan ju också mycket väl finnas en helt annan bakgrundssfaktor, som "orsakat" förändringen av både den studerade påverkansfaktorn och elevernas "resultat".  Man kan då få en mycket stor effektstorek, utan att det behöver finns något orsakssamband alls. Dock gäller knappast det omvända:

Finns det ett starkt orsakssamband bör detta normalt visa sig också som en stark korrelation! Slutsats: Det är sannolikt inte förnuftgt att lägga mycket resurser på en specifik faktor, som enligt Hattie har låg effektstorlek. Däremot kan det vara klokt att ytterligare analysera sambanden för de faktorer, som har hög effektstorlek!

Invändning 2: Materialet, som ligger till grund för meta-studierna, är  publikationer på engelska, och Hatties bakgrund är främst från Australien och Nya Zeeland. Därmed får resultaten en geografisk och kulturell slagsida.
Detta är också sant. Vissa av de faktorer Hattie listar som exempelvis reading recovery, screening and tracking, är knappast något vi använder i svenska skolor. En del andra som konkret träning i inflytande och delaktighet i beslut, är kanske  inte lika centrala i anglosachsiska kulturer som i skandinaviska. När man kommer till Hatties konkreta åtgärder i klassrummet är dock det allra mest högst relevant också för oss.

Invändning 3: Hatties metastudier beaktar endast kvantifierbara faktorer och framsteg/resultat.
Detta ligger i sakens natur. Hattie är främst statistiker och vill sortera fram evidensbaserade förslag till förbättringar och kunna utvärdera deras påverkan. Det betyder att han på något sätt genom observationer eller mätningar vill kunna avgöra vilka resultat, eller vilka framsteg, som är mer betydande än andra. Icke kvantifierbara faktorer, t.ex. om attityder och värderingar, kan vara mycket viktiga i skolans mål, men dessa kan inte lika enkelt inordnas i ett löpande systematiskt kvalitetsarbete, och det är framför allt ett sådant Hattie syftar till.

¹ "Resonemanget" formulerat av Bengt Lennartsson, redaktör för Tänkarnätverket - Thinking Schools Network. Synpunkter och kommentarer välkomna! Bengt@ThinkingSchools.org