Värdet av sunt förnuft

2013-04-18

Låt mig en sista gång återvända till forskningen på barns numeriska förmåga som jag har berört flera gånger tidigare på denna blogg. Jag har lagt väldigt mycket tid på att omanalysera data från en sådan studie där forskarna undersökte barns minne för tal mellan 0 och 1000. Barnen fick höra små historier av typen ”Kalle diskade efter en stor fest. Han diskade 589 glas och 73 tallrikar och 220 koppar.” Efter en kort distraktion frågade man dem efter talen de just hört (”Hur många glas diskade Kalle?”) Genom sex sådana historier presenterades och efterfrågades totalt arton tal. Fyra av talen var ”små” (mindre än 150) och av särskilt intresse i denna studie av en anledning jag inte går in på här.

Det är inte självklart hur man från dessa svar ska mäta hur bra minne ett barn hade. En uppenbar möjlighet är att helt enkelt räkna hur många tal barnet mindes rätt, men det finns skäl som talar emot det måttet. Det var nämligen ovanligt att barnen mindes talen helt rätt, men vanligt att barn svarade med ett tal som var nära det presenterade talet (t.ex. 73 i stället för 75). Det tyder rimligen på ett minne som var bättre än om barnet svarade med ett tal som var långt bort (t.ex. 500 i stället för 75).

Forskarnas lösning på detta var att mäta minnet (med omvänt tecken) som absolutfelet. Om det presenterade talet var 75 har svaret 73 absolutfel 2, och svaret 500 har absolutfel 425. Barnets minne för små tal mättes som genomsnittet av dessa absolutfel för de fyra små presenterade talen.

Sunt förnuft säger att detta är ett dåligt mått på minne. Det ger nämligen väldigt olika mått på minnet för barn som minns lika många tal och gissar på resten. Genom slumpen hamnar ju vissa gissningar närmare det rätta svaret. Ta två barn som båda svarar rätt på tre tal och båda svarar fel på det fjärde talet som är 75. Det ena barnet råkar gissa på 117 (med absolutfel 42) och räknas därmed som att det hade tio gånger bättre minne för små tal än det andra barnet som råkar gissa på 500 (med absolutfel 425).

Hur vet vi om ett barn är nära rätt svar på grund av att det faktiskt har ett minne av talet eller om det bara hade tur i gissningen? Säkert vet man det förstås inte (och notera att denna problematik inte är unik för detta test utan i någon mån gäller alla test överhuvudtaget). Ett förslag är att man först försöker använda sunt förnuft när man analyserar svaren och sedan ser om resultatet av analysen verkar rimligt.

Mitt eget sunda förnuft säger att om barnet inte ens får första siffran rätt så är dess svar troligen ett uttryck för gissning snarare än minne. Därför gjorde jag en alternativ analys av forskarnas data där jag mätte barnens minne som antalet tal där de ”mindes” åtminstone första siffran rätt. Sedan gjorde jag histogram över fördelningen av barnens minne för små tal. Till vänster visas fördelningen när minne mättes som genomsnittligt absolutfel (dividerat med 1000). Till höger är fördelningen när minne mättes som antal tal där åtminstone första siffran blev rätt i svaret.

Histogram över fördelning av två mått på minne för små tal

Den högra fördelningen är förenlig med en underliggande normalfördelning. Detta är ett rimligt resultat. Typiskt är kognitiva förmågor ungefär normalfördelade. Den vänstra fördelningen avviker däremot kraftigt från en normalfördelning. Som fördelning av en kognitiv förmåga ser den inte ut att vara rimlig. Istället uppvisar den en konstigt skev variation som i huvudsak avspeglar att vissa barns gissningar hade en tendens att vara relativt höga tal medan andra barns gissningar hade en tendens att vara relativt låga tal – variationen avspeglar därmed något annat än det man egentligen ville mäta (nämligen minne).

Forskarnas huvudresultat handlade sedan om att en viss intressant faktor inte predicerade barns minne för små tal. Det visade sig i min fortsatta analys att när jag istället använde det rimliga måttet på minne så föll detta huvudresultat: den där faktorn kunde visst predicera barns minne för små tal! Med andra ord var forskarnas huvudresultat en artefakt av att de använt ett orimligt mått på minne som innehöll en massa onödigt brus.

Det här blir mitt sista blogginlägg på Curie. Jag hoppas att eventuella läsare av min blogg har funnit inspiration att tänka kritiskt och självständigt på forskningens metoder, dess resultat och dess publiceringsetik.