Några enkla varningssignaler för när man inte bör lita på en publicerad analys

2013-03-06

Jag håller just nu på med ett manus där jag och min forskar- och bloggarkollega Olle Häggström förklarar och uppmäter tokigheten i den statistiska analysen i en artikel jag bloggade om förra året. Den tokiga artikeln handlar om hur barns matematiska förmåga påverkas av om deras mentala representation av tal är linjär eller logaritmisk. Att jag överhuvudtaget kom in på detta område av utvecklingspsykologi kom sig av en inbjudan att gästföreläsa på en kurs för yrkesverksamma logopeder. Det är denna yrkesgrupp som gör dyslexiutredningar och nu skulle de lära sig att utreda även den matematiska motsvarigheten, dyskalkyli. Om detta vet ju jag knappast något men min gästföreläsning skulle bara handla om varför man alls ska lära sig matematik.

Snart efter inbjudan såg jag i Psychological Science, den främsta empiriska psykologitidskriften, en ny artikel med titeln ”Linear Numerical-Magnitude Representations Aid Children’s Memory for Numbers”. Jag tänkte att detta kanske kunde vara relevant för det som kursen egentligen handlade om, så jag tog med artikeln som läsning på tåget från Stockholm till Uppsala där gästföreläsningen skulle vara. När jag 35 minuter senare kom fram till Uppsala var jag övertygad om att forskarnas analysresultat inte var att lita på. Jag skrev till dem och bad om deras data, och min egen analys bekräftade att deras resultat byggde på felaktiga antaganden baserade på en naiv uppfattning om skillnaden mellan linjära och logaritmiska funktioner.

Här tänker jag inte gå in på vare sig deras resultat eller deras felaktiga antaganden. Istället tänkte jag diskutera vad det var för varningssignaler jag såg i artikeln. Jag skulle önska att förmågan att se dessa varningssignaler var mer utbredd, till exempel bland redaktörer och reviewers.

Varningssignal 1: Artikeln handlade om skillnaden mellan linjära och logaritmiska representationer och illustrerades på första uppslaget av ett diagram som visade en ”logaritmisk funktion” och en ”linjär funktion” som båda hade värdet y=0 i punkten x=0. Men logaritmen av 0 är oändligt negativ och kan inte skalas ner till 0. Med andra ord måste deras funktion innehålla några termer, t.ex. skulle den kunna vara någon multipel av log(x+1) eller log(x+2)-log(2). Eftersom det finns oändligt många möjligheter skulle man förvänta sig att den modell de använt stod specificerad någonstans, gärna tillsammans med en kommentar om behovet av att undvika log(0). Men inget sådant omnämndes i artikeln, vilket gav mig intrycket att författarna nog inte förstod så mycket av logaritmer och funktioner.

Varningssignal 2: På flera ställen i artikeln beräknades en uppsättning korrelationskoefficienter, så kallade r-värden. De kan anta värden mellan -1 och 1. Om man bara är intresserad av värdets absoluta storlek (dvs. om man är ointresserad av om tecknet är plus eller minus) kan man studera absolutvärdet av r som ju betecknas |r|. Författarna sammanfattade sina resultat på formen ”rs = |.71|–|.82|”. Det de ville säga är att ”alla r uppfyller .71 ≤ |r| ≤ .82”. Att de satte absolutvärdestecknen på fel storheter (på de redan positiva talen istället för på r) gav mig intrycket att författarna nog inte förstod så mycket av grundläggande matematik överhuvudtaget.

Varningssignal 3: Forskarna mätte minnet för numeriska tal genom att först presentera några tal och sedan be barnen att försöka komma ihåg dem. Som ett mått på hur bra barnets minne var använde forskarna ett statistiskt standardmått för hur väl de ihågkomna talen var linjärt relaterade till de presenterade talen. Det innebär att om de presenterade talen var 10, 20 och 30 och barnet kom ihåg 1, 2 och 3 så räknades det som perfekt minne. Likaså om barnet kom ihåg 17, 17,och 17, för det är fortfarande en linjär relation. Till och med om barnet kom ihåg talen i omvänd storleksordning (säg, 75, 50, 25) skulle minnet räknats som perfekt. Detta gav mig intrycket att författarna nog inte förstod så mycket av vad deras knapptryckningar i statistikprogrammet egentligen betyder.

Det fanns fler konstigheter som man behövde vara lite mer matematiskt kunnig för att se. Men hur i all världen kommer det sig att inte någon i bedömningsprocessen i den främsta av psykologitidskrifter upptäcker åtminstone någon av ovanstående varningssignaler?

4 kommentarer

Tack för din kommentar. Den kan komma att modereras innan den publiceras.

  • Kjell Rilbe

    Matematik är väl inom området psykologi en ganska underordnad kompetens, så det är inte orimligt att anta att de som granskade artikeln är precis lika okunniga om grundläggande matematik som artikelförfattarna.

    Det kanske vore på sin plats att inom peer review-systemet alltid kräva att det ska finnas minst en granskare som har fackkompetens inom varje kunskapsområde som tillämpas i artikeln. Således, en artikel som över huvud taget innehåller matematiska eller statistiska metoder ska granskas av en matematiker resp. statistiker.

    Men det finns väl inga centrala regler eller standardorgan för peer-review-systemet och därmed ingen som kan kontrollera efterlevnaden. Bra då att det finns åtminstone en forskare på vår jord som har ambitionen att påvisa att kejsaren i viss fall är naken.

    Tack Kimmo!

    2013.03.06

  • Andreas

    Synd att det ska vara så. Psykologi är ju ett så viktigt ämne.
    Ser att man ska räkna ut en ekvation här nere. Tur att man inte är psykolog ;-)

    2013.03.06

  • Peter

    Korsvetenskapliga utvärderingar då och då skulle nog vara av stort intresse. Med det menar jag att olika discipliner utvärderar varandras slutsatser. Det kan kanske inte vara alltför stora skillnader, materialet måste ju vara begripligt.

    2013.03.12

  • Peter Stilbs

    Vissa ser också "obevekliga trender" ;-)

    2013.03.14