Den berömda byrålådan

Härom veckan var jag en av cirka 7000 deltagare på den amerikanska statsvetarkonferensen (American Political Science Association). En av presentationerna jag lyssnade till var den av Annie Franco och Neil Malhotra. De presenterade sin redan publicerade artikel som de skrivit tillsammans med Gabor Simonovits, ”Publication bias in the social sciences: Unlocking the file drawer”.

Artikeln är en metastudie av alla de surveyexperiment som genomförts i den amerikanska panelen Time-sharing Experiments in the Social Sciences (TESS ). TESS, som finansieras av National Science Foundation, har funnits sedan 2002 och är ett forskningssamarbete som möjliggör för forskare att genomföra surveybaserade experiment. Internetpanelen, på vilka surveyexperimenten utförs, är representativ för den amerikanska befolkningen.

Experimenten, exempelvis variationer i frågeformulering, olika visuella stimuli, eller texter med olika scenarios, ligger inbäddade i ett vanligt frågeformulär. På Göteborgs universitet arbetar vi för övrigt på liknande sätt med surveyexperiment i Laboratory of Opinion Research (LORE ).

Styrkan med TESS, utöver det faktum att forskare kan genomföra experiment på ett representativt befolkningsurval, är att samtliga experimentansökningar granskas i förväg. Eftersom långt i från alla ansökningar kan beviljas gör konkurrensen att de mest lovande experimenten väljs ut. TESS kräver exempelvis också att forskaren i förväg beräknat statistisk power och i princip samtliga experiment ska innehålla någon typ av manipulationskontroll.

I korthet har artikelförfattarna följt upp samtliga experiment som samhällsvetenskapliga forskare genomfört med hjälp av TESS mellan 2002 och 2012. Det slutliga antalet analyserade studier blev 221 stycken. Studierna delades in i tre kategorier: starka resultat (alla/nästan alla hypoteser bekräftade), blandade resultat och nollresultat (alla/nästan alla hypoteser saknar stöd). Författarna följde sedan upp hur stor andel av experimenten som publicerats respektive inte har publicerats.

Bland publicerade arbeten skiljer författarna på arbeten som skrivits ihop till en konferens (det vill säga att det finns något skrivet över huvud taget) eller som är inskickad till tidskrift och de studier som var publicerade i vetenskaplig tidskrift. Författarna har både sökt i publiceringsdatabaser men också kontaktat forskare till omkring 100 av studierna för att få information om studiens publiceringsstatus. I de fall det inte fanns någon artikel eller arbetspapper ombads forskarna sammanfatta sina resultat.

I 41 procent av studierna som genomförts via TESS fann man starka resultat, 37 procent fann blandade resultat och i 22 procent av studierna fann man nollresultat. Det visar sig också finnas ett tydligt samband mellan styrkan i resultaten och publicering. Medan ungefär hälften av samtliga analyserade experiment från TESS var publicerade var siffran bland studier med nollresultat bara 20 procent. Bland studier med blandade respektive starka resultat var andelen som publicerats 50 respektive 60 procent.

Uttryckt på ett annat sätt fann författarna att medan 20 procent av det totala antalet studier hade nollresultat var andelen nollresultat bland de publicerade studierna bara 10 procent. Sannolikheten att resultaten publiceras ökar alltså med 40 procentenheter om vi har ett starkt resultat jämfört med ett nollresultat. Dessutom kunde författarna också demonstrera att hela 65 procent av studierna med nollresultat aldrig skrivs ihop överhuvudtaget.

Slutsatsen av metastudien är att vi riskerar fortsätta designa mindre optimala surveyexperiment om vi aldrig får kunskap om de experiment som inte har fungerat. Vidare, i de fall när ett experiment som tidigare inte fungerat uppvisar signifikanta effekter i en replikering, kommer vi anta att det finns starkare effekter än vad som faktiskt är fallet. En viktig anledning till att nollresultaten inte blev omskrivna berodde också till stor del på att de ansvariga forskarna själva inte trodde de hade någon chans att bli publicerade.

Något som togs upp till diskussion under presentationen på konferensen var också det faktum att det finns två typer av nollresultat: de fall när experimentet är dåligt designat och stimulit inte fungerar vilket visar sig i att manipulationskontrollen inte fungerar, och de experiment där stimulit och manipulationskontrollen fungerar, men där stimulit ändå inte ger upphov till några effekter på experimentgruppen/grupperna jämfört med kontrollgruppen. Det är ju särskilt de senare fallen som är viktiga att få kunskap om och där vi kan lära oss mycket inför konstruerandet av framtida surveyexperiment.

Man måste med andra ord vara modig för att visa sina forskningsmisslyckanden. Klyschan ”ett nollresultat är också ett resultat” borde tas på större allvar. Frågan är bara hur.

Källa:

Franco, Annie, Neil Malhotra och Gabor Simonovits (2014). ”Publication bias in the social sciences: Unlocking the file drawer Länk till annan webbplats.”. Science. Publicerad online 28 augusti 2014.

Läs mer:

För den som vill läsa ytterligare inlägg på temat byrålådeffekter rekommenderar jag Anders Sundells inlägg på Politologerna:

Byrålådeeffekten: Varför överraskande forskningsresultat antagligen inte stämmer Länk till annan webbplats.