Tidskrifter borde kräva rättframma analyser

2012-05-31

Tänk dig att du sitter som redaktör för en prestigefull tidskrift. På ditt bord har du ett manuskript från en berömd forskare. Manuskriptets budskap är att den individuella faktorn ”X” påverkar hur mycket barn lär sig av en viss sorts träning: ju högre X desto bättre inlärning. För att mäta inlärningen har forskaren testat barnen före och efter träning. Sedan har han beräknat skillnaden mellan dessa provresultat som ett mått på hur mycket bättre barnet blivit på den testade förmågan.

Känns det bra så långt för dig? Jag hoppas det. Visst kan man invända att ett prov aldrig ger ett perfekt mått på förmåga, eftersom resultatet också beror på dagsform och andra tillfälligheter. Det finns alltså ett visst brus i måttet men detta behöver inte vara ett problem, ty även brusiga data kan studeras med statistiska metoder.

För att undersöka om det finns ett statistiskt samband mellan två brusigt uppmätta storheter, såsom inlärning och faktorn X, kan man beräkna korrelationen. Om bruset inte är för stort i förhållande till hur starkt sambandet är så kommer korrelationen att bli ”statistiskt signifikant”. En rättfram analys vore alltså att rapportera korrelationen mellan inlärning och faktorn X samt dess statistiska signifikans.

En så enkel analys finner du dock inte i den berömda forskarens manus. Där finns endast en mer avancerad analys där en kontrollvariabel har lagts till: provresultatet före träning. I denna analys finner forskaren ett tydligt samband mellan faktorn X och inlärning. Låter du dig som redaktör imponeras av denna mer avancerade analys? I så fall är du i gott sällskap. Det här är ett verkligt fall och redaktören publicerade artikeln (som nu har citerats hundra gånger).

Tyvärr utgör den avancerade analysen ett allvarligt statistiskt missgrepp! Provresultatet före träning utgör ju nu både en förklarande variabel och en del av den variabel som ska förklaras (differensen mellan provresultat före och efter träning). Detta ger konstiga effekter. I det aktuella fallet ledde dessa konstiga effekter till att ett samband uppstod som egentligen inte fanns. Om den berömda forskaren istället hade rapporterat resultatet av en rättfram analys hade det framgått att inlärningen faktiskt inte hade något samband med faktorn X.

Hur kan jag veta detta? Jo, jag epostade forskaren och bad om hans data. Och igen. Och igen. Efter fjärde påstötningen fick jag äntligen en fil med data, men de visade sig vara från någon helt annan studie. Först på min femte förfrågan skickades de data jag bett om. Därmed kunde jag häromdagen,  efter några få minuters analysarbete, konstatera att artikelns slutsatser är helt felaktiga. Data stöder inte det påstådda sambandet. De hundra författare som har citerat artikeln har alltså blivit lurade.

En forskare som är ute efter att visa ett visst samband, som inte stöds av data, kan inte sällan uppnå det genom att missbruka komplicerade och svårtolkade statistiska metoder. Det bästa motmedlet är att redaktörer kräver rättframma analyser. Inom vetenskap är obskyr matematik och statistik lika förkastligt som obskyr prosa.

Tillägg efter första publicering: Läsare har frågat mig vilken artikel det gäller. Den heter ”Numerical magnitude representations influence arithmetic learning” (men titeln borde alltså egentligen ha innehållit en negation).

Ta del av information om behandlingen av dina personuppgifter