Redaktörers syn på amerikaners syn på ekonomisk ojämlikhet

2013-01-15

Jag återkommer nu som bloggare här på Curie. Temat för min blogg kommer precis som tidigare vara det gemensamma ansvar som forskare, tidskriftsredaktörer och sakkunniga bedömare har för att publicerad forskning verkligen leder till bättre kunskap.

Idag följer jag upp mina tidigare bloggposter om Michael Norton och Dan Arielys studie av amerikaners syn på ekonomisk ojämlikhet. Den publicerades 2011 i prestigetidskriften Perspectives on Psychological Science.  Norton och Ariely hade funnit att amerikaner inte alls är medvetna om hur ojämlikt förmögenheterna är fördelade i deras land. Tillsammans med min amerikanska kollega Brent Simpson konstaterade jag att detta fynd är en ren artefakt av den ovanliga fråga som forskarna hade ställt i sin enkät: ”Hur stor andel av USAs totala fömögenhet ägs av de 20 procent rikaste hushållen, de näst rikaste 20 procenten, etc.?”

I en första studie visade vi att om man istället för det ovana begreppet ”andel av USAs totala förmögenhet” helt enkelt frågar om genomsnittsförmögenheten i de olika segmenten av befolkningen så tenderar svaren att väl reflektera den fulla vidden av ekonomisk ojämlikhet i USA. Ett manuskript om detta till Perspectives gick ut till sakkunniga bedömare som ansåg att det än så länge var oklart om den fråga vi använt verkligen var mer giltig än den fråga som originalstudien använt. Redaktören bjöd in oss att ta bedömarnas kommentarer i beaktande och skicka in ett reviderat manus.

För att bemöta bedömarnas invändning genomförde vi några ytterligare studier. Nu använde vi samma frågor för att undersöka hur amerikaner ser på ojämlikheten inom två andra domäner: skollärares löner (som har välkänt låg spridning) och webbsidors besöksfrevenser (som har välkänt hög spridning). Resultatet var att med ”vår” fråga gav amerikaner överlag svar i överensstämmelse med de dramatiskt olika graderna av ojämlikhet. Den ursprungliga frågan som Nortan och Ariely använt gav däremot alltid, oberoende av domän, svar som representerade låg ojämlikhet. Den uppenbara slutsatsen är att deras fråga är oanvändbar för att ta reda på människors uppfattning om ojämlikheten på ett givet område, ty just denna fråga besvarar människor ungefär på ett och samma sätt oavsett graden av ojämlikhet.

Vi tog med dessa nya studier i vårt reviderade manus. Döm om vår förvåning när redaktören för Perspectives refuserade vårt manus utan vidare sakkunnigbedömning. Förvåningen blev till indignation när vi läste motiveringen: att det reviderade manuset var alltför olikt vårt första manus. Och indignationen upplöstes i sardonisk munterhet när vi bara veckan därpå såg samma tidskrift ge ut ett temanummer om vikten av att psykologiska studier blir föremål för replikering.

Det slutade alltså med att den tidskrift som publicerade Norton och Arielys studie inte tog in en kritisk replikering som dels visar på avgörande metodologiska problem med deras studie, dels visar att en mer tillförlitlig metod ger ett helt annat resultat. Ännu finns det alltså en bra bit kvar innan tidskriftsredaktörer ser på sitt uppdrag som att förmedla bästa tänkbara kunskap.

Vår artikel blev mycket snabbt publicerad i en annan tidskrift, Judgment and Decision Making (klicka om du vill läsa). Där når den tyvärr bara en bråkdel av den läsekrets som tagit del av den ursprungliga studien. Jag såg därför till att skicka min artikel åtminstone till de fyra forskare som kommenterat Norton och Arielys ursprungliga studie i samma nummer av Perspectives. Ingen av dessa kommentatorer hade uttryckt några tvivel på originalstudiens resultat. Tre av dem svarade mycket riktigt inte på mitt brev.  Den fjärde, professor Barry Schwartz, visade dock prov på en beundransvärd inställning: ”I missed this possibility completely in reading the original. […] It is work like this that actually gives one hope that the field progresses.” Jag säger detsamma – det är forskare som Barry Schwartz som ger mig hopp!