Logotyp Curie - samtal om forskningens villkor

Krönika

Tidskrifter borde kräva rättframma analyser

Tänk dig att du sitter som redaktör för en prestigefull tidskrift. På ditt bord har du ett manuskript från en berömd forskare, skriver Kimmo Eriksson.

Manuskriptets budskap är att den individuella faktorn ”X” påverkar hur mycket barn lär sig av en viss sorts träning: ju högre X desto bättre inlärning. För att mäta inlärningen har forskaren testat barnen före och efter träning. Sedan har han beräknat skillnaden mellan dessa provresultat som ett mått på hur mycket bättre barnet blivit på den testade förmågan.

Känns det bra så långt för dig? Jag hoppas det. Visst kan man invända att ett prov aldrig ger ett perfekt mått på förmåga, eftersom resultatet också beror på dagsform och andra tillfälligheter. Det finns alltså ett visst brus i måttet men detta behöver inte vara ett problem, ty även brusiga data kan studeras med statistiska metoder.

För att undersöka om det finns ett statistiskt samband mellan två brusigt uppmätta storheter, såsom inlärning och faktorn X, kan man beräkna korrelationen. Om bruset inte är för stort i förhållande till hur starkt sambandet är så kommer korrelationen att bli ”statistiskt signifikant”. En rättfram analys vore alltså att rapportera korrelationen mellan inlärning och faktorn X samt dess statistiska signifikans.

En så enkel analys finner du dock inte i den berömda forskarens manus. Där finns endast en mer avancerad analys där en kontrollvariabel har lagts till: provresultatet före träning. I denna analys finner forskaren ett tydligt samband mellan faktorn X och inlärning. Låter du dig som redaktör imponeras av denna mer avancerade analys? I så fall är du i gott sällskap. Det här är ett verkligt fall och redaktören publicerade artikeln (som nu har citerats hundra gånger).

Tyvärr utgör den avancerade analysen ett allvarligt statistiskt missgrepp! Provresultatet före träning utgör ju nu både en förklarande variabel och en del av den variabel som ska förklaras (differensen mellan provresultat före och efter träning). Detta ger konstiga effekter. I det aktuella fallet ledde dessa konstiga effekter till att ett samband uppstod som egentligen inte fanns. Om den berömda forskaren istället hade rapporterat resultatet av en rättfram analys hade det framgått att inlärningen faktiskt inte hade något samband med faktorn X.

Hur kan jag veta detta? Jo, jag epostade forskaren och bad om hans data. Och igen. Och igen. Efter fjärde påstötningen fick jag äntligen en fil med data, men de visade sig vara från någon helt annan studie. Först på min femte förfrågan skickades de data jag bett om. Därmed kunde jag häromdagen, efter några få minuters analysarbete, konstatera att artikelns slutsatser är helt felaktiga. Data stöder inte det påstådda sambandet. De hundra författare som har citerat artikeln har alltså blivit lurade.

En forskare som är ute efter att visa ett visst samband, som inte stöds av data, kan inte sällan uppnå det genom att missbruka komplicerade och svårtolkade statistiska metoder. Det bästa motmedlet är att redaktörer kräver rättframma analyser. Inom vetenskap är obskyr matematik och statistik lika förkastligt som obskyr prosa.

Tillägg efter första publicering: Läsare har frågat mig vilken artikel det gäller. Den heter ”Numerical magnitude representations influence arithmetic learning” (men titeln borde alltså egentligen ha innehållit en negation).

Mer om skribenten

  • Kimmo Erksson

    Professor i matematik

    Han skriver om drivkraften för att forska och annat som dyker upp i samtalen med de närmaste kollegerna. Kimmo Eriksson forskar om kulturell evolution och är också gästprofessor vid Centrum för evolutionär kulturforskning vid Stockholms universitet.

Relaterat innehåll

Krönika 30 januari 2024

Nu är de nationella riktlinjerna för öppen vetenskap klara. Erik Stattin skriver om arbetet med regeringsuppdraget och hur riktlinjerna tagits emot.

Nyhet 28 november 2023

Siv Engelmark

Nu ska de avtal som reglerar svenska forskares publiceringar i vetenskapliga tidskrifter omförhandlas. En färsk rapport från SUHF ska ge underlag för arbetet. Målet är att publicer...

Krönika 27 november 2023

Hur många vetenskapliga texter finns det som definierar en forskare? Bengt Johansson skriver om böckerna som verkligen betytt något för honom.