Hypoteser bör värderas utifrån alla tillgängliga vinklar

2012-08-28

Ett övergripande tema för denna blogg har varit att visa hur man kan granska forskningsresultat kritiskt och att argumentera för att forskare och redaktörer borde vara mer kritiska. Det kritiska förhållningssätt som jag ropar efter är vanan att ärligt fråga sig om en viss forskningsslutsats överhuvudtaget är rimlig mot bakgrund av den samlade övriga evidens vi besitter från andra discipliner och med våra kunskaper och erfarenheter som individer. Samma förhållningssätt är nyttigt vare sig det gäller påståenden om ekonomi eller påståenden om telepati.

Förra veckans inlägg handlade om slutsatsen att amerikanen i gemen innerst inne tycker att ett nästan egalitärt samhälle – där de rikaste inte äger mer än, säg, tre gånger mer än de fattigaste – vore idealiskt. För denna slutsats talade en ensam enkätstudie. Mot samma slutsats talade en senare enkätstudie av mig och en kollega där vi ändrade frågan på ett sätt som logiskt inte borde spela någon roll. Vi fann då att amerikanen i gemen tyckte att en betydligt större ekonomisk ojämlikhet – säg, en faktor 50 mellan de fattigaste och de rikaste – vore idealiskt.

Detta fynd skickade vi till den tidskrift som publicerat den första studien. Efter ett halvår svarade redaktören och bad oss att revidera manuset och skicka in det igen. En bifogad peer review-rapport handlade om att det nu fanns två olika slutsatser och varför skulle egentligen just vår slutsats vara att föredra framför den första slutsatsen?

Jag ska nu argumentera för varför vår slutsats, att amerikanen i gemen inte tycker att idealet är minimal ekonomisk ojämlikhet, utan tvekan är att föredra. Förra veckan tog jag upp ett argument baserat på författarnas egen studie. Med sin metod fann de nämligen dessutom att amerikaner systematiskt överskattar hur rika de fattigaste är, motsvarande att de fattigaste hushållen skulle sitta på nettoförmögenheter i halvmiljonklassen. ”En årslön på banken” som medelklassen i Sverige borde sträva efter skulle alltså dessa amerikaner tro vara genomfört i den amerikanska underklassen! Jag menar att existensen av en sådan masspsykos vore ett mysterium av jättelika proportioner. Särskilt som den inte understöds av någon politisk retorik. ”USA har inga fattiga” förs ju inte fram av vare sig konservativa eller liberaler.

Slutsatsen att amerikaner överskattar de fattigas förmögenhet verkar alltså inte stämma med vad vi för övrigt vet om det amerikanska samhället. På samma sätt bör man ställa sig frågan: Vilken slutsats om amerikaners idé om idealisk ekonomisk ojämlikhet är mest förenlig med vad vi för övrigt vet om det amerikanska samhället? Svaret är förstås glasklart. Ingen mainstream-rörelse i USA har maximal ekonomisk utjämning på sin agenda. I jämförelse med detta berg av praktisk evidens borde en enda enkätstudie väga väldigt lätt, särskilt som den var baserad på en mycket speciell fråga. (För övrigt kan jag inte begripa varför författarna själva inte gjorde minsta ansats att validera den speciella enkätfråga de använde. Inom exempelvis personlighetspsykologi är det en självklarhet att nya enkätinstrument utsätts för omfattande prövningar så att man säkerställer att de pålitligt mäter vad de avser att mäta.)

De invändningar jag framfört här ovan kräver inga specialkunskaper. Jag uppmuntrar er alla att använda era egna kunskaper om världen när ni värderar påståenden, vare sig påståendena framförs av en forskare eller av någon annan. Extraordinary claims require extraordinary evidence, som Carl Sagan sa. Den studie jag och min kollega genomförde gav en chans för den extraordinära hypotesen att bli uppbackad av mer evidens – men den chansen togs inte. Istället erhöll vi som sagt radikalt annorlunda resultat när frågan ändrades från att gälla olika kvintilers andelar av nationens samlade förmögenhet till att gälla medelförmögenheten för individuella hushåll i varje kvintil. Den extraordinära hypotesen fick inget stöd. Istället gav vår studie inblick i några specifika problem med den ursprungliga studien:

1. Många av de tillfrågade har uppenbarligen inte begripit frågan. Till exempel måste procenttalen logiskt sett summera till 100 och konsekvent vara större för rikare kvintiler än för fattigare kvintiler. En tredjedel av svaren uppfyllde inte ens dessa minimikrav. (Originalstudiens författare reflekterade aldrig över att detta var ett tecken på ett problem med frågan. På min förfrågan svarade författarna att de i dessa fall helt enkelt ordnade om svaren i storleksordning och skalade om dem så att summan blev hundra!)

2. På frågan ”i vilken kvintil hittar man en person som är rikare än halva befolkningen och fattigare än den andra halvan” gav bara hälften det rätta svaret (mittkvintilen). Om de svarande inte har förstått innebörden i de begrepp som frågan handlar om, vilken mening har då deras svar?

3. Efter att respondenterna svarat på både de ursprungliga frågorna och våra nya frågor påpekade vi att deras svar inte hängde ihop logiskt: Vi förklarade att faktorn mellan rika och fattiga ju logiskt måste vara densamma oavsett om det gäller kategoriernas procent eller individernas medelbelopp. Vi frågade sedan hur det kom sig att deras svar inte hängde ihop. En stor majoritet sa att de inte förstått att kategoriers förmögenhetsandelar och individers medelförmögenheter hade med varandra att göra. För att inse allvaret i detta, tänk på att det som verkligen går att observera här i världen är individers förmögenheter. Kategoriers andelar är ett statistiskt aggregat av individer som det verkar ogörligt att bilda sig en uppfattning om ifall man inte ser kopplingen till individer!

Slutligen, efter att respondenterna fått sig förklarat hur andelar och medelförmögenheter hänger ihop fick de välja om de nu tyckte att deras ”sanna uppfattning”om dagens förmögenhetsfördelning bättre passade med ett förhållande mellan fattiga och rika på 1500:1 eller på 20:1 (medianförhållandena från de två olika sorternas frågor). En rejäl majoritet valde nu den ojämlikare fördelningen. På samma sätt valde en rejäl majoritet att deras ”sanna uppfattning” om idealisk förmögenhetsfördelning bättre passade med förhållandet 50:1 än med 4:1. Här kom dessutom en tydlig politisk skiljelinje i dagen, där den minoritet som valde 4:1 till övervägande del var liberaler och försvinnande få konservativa.

Så, tyvärr verkar det inte vara något bevänt med den konsensus för ekonomisk jämlikhet som den första studien tyckte sig finna. Vi som tror att ökad ekonomisk jämlikhet vore bra behöver fortfarande argumentera för saken.

 


Anmärkning. Notera att problemen med att många respondenter inte förstår kvintiler är ett problem även för vår studie. Det är också ett enormt metodproblem att frågorna om idealisk förmögenhetsfördelning inte definierar i vilken mening fördelningen ska vara idealisk. Dessa problem, som vi ärvde från den första studien för att göra replikeringen så exakt som möjligt, gör att det är mycket oklart vad svaren betyder. Man bör därför inte använda vår studie för att säga något exaktare än just att de talar emot en amerikansk konsensus för ekonomisk jämlikhet. Syftet med vår studie var att visa hur och varför originalstudiens resultat inte håller.

Den som seriöst vill studera hur människor faktiskt tänker kring ekonomisk fördelning bör utveckla betydligt bättre metoder. Bland annat bör man inte förutsätta att människor sitter inne med en färdig idealfördelning i huvudet, oberoende av andra ideal, för varför i hela friden skulle de göra det? Själv har jag då ingen personlig idealfördelning färdig att plocka fram. Om någon tvingade mig att konstruera en sådan skulle mitt svar ha mycket litet värde. I verkligheten är ju ekonomisk fördelning alltid starkt beroende av samhället och dess människor.