Coola studier behöver replikeras (även min)

2013-02-20

Det publiceras ju kolossalt mycket forskning i facktidskrifter. Endast en försvinnande liten del av denna forskning blir uppmärksammad i medier som den intresserade allmänheten har tillgång till, såsom tidningar och bloggar. Det är förstås större chans för uppmärksamhet om studien är ”cool” i meningen att den säger något festligt om något som även ickespecialister bryr sig om.

En sådan cool studie fann att människor låter sig imponeras av bilder på hjärnan. Forskarna lät lekmän läsa en förklaring av ett psykologiskt fenomen och sedan bedöma hur tillfredställande de fann förklaringen. För vissa deltagare ”illustrerades” förklaringen av en irrelevant bild av hjärnan. Det visade sig att de som fick se en irrelevant bild av hjärnan var mer tillfredställda med förklaringen de fick läsa. En cool studie!

I vintras publicerade jag själv en studie av liknande cool karaktär. Bakgrunden var det kliv jag som matematiker tagit in i humaniora och samhällsvetenskap. Där har jag tyckt mig se en onödigt stor respekt för matematik. Mitt intryck är att här finns områden där bara en liten minoritet av forskarna har tillräcklig matematisk kompetens för att formulera matematiska modeller, och – vad värre är – bristen på matematisk kompetens hos övriga forskare gör att de inte ens vågar ifrågasätta värdet av minoritetens matematiska modeller. Det är potentiellt allvarligt, eftersom ifrågasättande är en grund för god vetenskap.

Mitt personligt färgade intryck är dock inget att lita på i sig! Därför har jag i flera år försökt komma på någon genomförbar metod att systematiskt undersöka om det finns onödigt stor respekt för matematik inom forskningsfält där de flesta inte har matematisk kompetens. I höstas kom jag på ett sådant sätt. Genom en amerikansk webbsajt rekryterade jag 200 deltagare som alla hade minst en mastersexamen och vana vid att läsa forskningsartiklar. Jag gav deltagarna i uppdrag att, som om de vore ledamöter i programkommittén för någon konferens, bedöma forskningens kvalitet i två korta abstract som jag gav dem. I något av abstracten hade jag lagt in en helt irrelevant ekvation som bara var nonsens i förhållande till abstractets övriga innehåll.

Resultatet var att oberoende av i vilket av de två abstracten jag lade in den irrelevanta ekvationen så tyckte majoriteten av deltagarna att det var i just det abstractet som forskningen hade högst kvalitet. Jag delade sedan upp deltagarna på vetenskapsområdet för deras examen och gjorde om analysen. Då visade det sig att ”the nonsense math effect” inte uppträdde bland deltagare från vetenskapsområdet matematik-naturvetenskap-teknik, men var desto tydligare inom humaniora-samhällsvetenskap och inom utbildningsområdet. Läs gärna min korta artikel om studien.

Den här studien visade sig mycket riktigt uppfattas som cool. Efter att den blev publicerad i slutet på november hade den blivit omskriven i dagstidningar på flera kontintenter och omtalad på många av de mest lästa bloggarna om samhällsvetenskap. En författare till en framgångsrik lärobok i statistisk ville ha mina data för att tjäna som motiverande exempel i nästa upplaga!

Nu i veckan fick jag ett brev från en forskare. Han skrev att han just citerat min studie i en artikel publicerad i en psykologitidskrift. Nyfiket slog jag upp hans artikel. Det visade sig att min studie bara omnämndes bland relaterad forskning. Vad artikeln verkligen studerade var effekten med att visa bilder på hjärnan, som jag nämnde i inledningen. De här forskarna hade försökt replikera originalstudien – men inte hittat samma effekt. Totalt hade de genomfört tio experiment med 2000 deltagare, och deras slutsats var att om det finns någon effekt av att visa bilder på hjärnan så är den obetydlig.

Sensmoralen är att coola forskningsresultat från enstaka studier måste betraktas (minst) samma skepsis som mindre coola resultat från enstaka studier. Det är först när fenomen låter sig upprepas i oberoende studier som de egentligen är värda att litas på. Jag hoppas att även min studie av nonsensmatematikeffekten snart blir föremål för försök till replikering. Fram till dess är det fortfarande en cool studie – men lita inte på resultatet!