Öka vaksamheten när tal anges med hög noggrannhet

2013-02-06

På min dator råkade jag just hitta ett undansparat arkiv av epost från ett gammalt epostsystem som byttes ut för många år sedan. Jag tittade nyfiket på vad det var för epost som kommit in på slutet före bytet. Där hittade jag bland annat ett svarsbrev från en forskare jag här kallar E. Brevet löd: ”visst svarar vi gärna på dina frågor. Men tyvärr är vi nersölade med studenter, midterms och deadlines. Så du får nog ge dig till tåls.” (29 april, 2005). Snart åtta år senare har ännu inget svar kommit så nog har jag fått ge mig till tåls alltid. Men vad var det för frågor jag ställt som E syftade på? De fann jag i den kopia av mitt ursprungliga meddelande som återfanns längst ned i E:s svarsbrev.  Där stod, i utdrag:

ni [skriver] att lönerna som jag tyckte var orimliga i själva verket kan jämföras med ”fantastiska upptäckter.” Men vad menas ens med en så stor lön som t ex en miljard miljard miljarder dollar? Skulle den respondenten inte skratta ihjäl sig om hon eller han fick reda på att er metod sagt att detta är den lön hon eller han finner rättvis? Vet ni i så fall bättre än respondenten själv, trots att allt ni har att gå på är deras svar på en för er okänd skala? Om du håller med om att era data inte håller för dina slutsatser i DN så kan vi skriva en gemensam folkbildande artikel där vi förklarar hur sådana här missförstånd kan uppkomma om man litar för mycket på matematiska modeller! Ni är alls inte ensamma om att gå i sådana fällor.

När jag läste dessa rader om löner på ”en miljard miljard miljarder dollar”, om svar på en ”okänd skala” och om att ”lita för mycket på matematiska modeller”, då mindes jag plötsligt hela historien.

Mina föräldrar har, liksom jag, ett yrkesliv som universitetslärare i matematik och dess tillämpningar. När jag våren 2004 kom hem från någon månad som gästforskare i Australien hade mina föräldrar sparat en artikel från DN Debatt som de tyckte var komisk. Och nog fick den även mina smilband att rycka. Jag uppmanar dig som läsare att försöka inse vad det var som vi i min familj hade så roligt åt i följande citat:

Exempelvis anser MBA-studenter i Sverige att 1.821.397 dollar är en rättvis lön för en amerikansk vd i 50-årsåldern, med sexton års skolgång och fem års erfarenhet i verkstadsindustrien och som arbetar i ett medelstort företag (börsvärde 50 miljarder dollar) med huvudkontor i USA. För en kvinnlig vd med samma profil och som arbetar i samma typ av företag anses en rättvis lön vara 1.450.921 dollar!

Underhållningsvärdet uppstod för oss i den höga noggrannhet som de ”rättvisa” lönerna angavs med. Författaren valde att ange den rättvisa årslönen för en amerikansk börs-VD med sju siffrors noggrannhet, ner till den enstaka dollarn! Detta är fullkomligt absurt. Sjusiffrig noggrannhet uppnås sällan ens i noggranna fysikaliska experiment. Och mätningen det handlade om här var ungefär så långt man kan komma från ett noggrant fysikaliskt experiment – det här handlar om att uppskatta vad som vore en rättvis årslön för en amerikansk VD i ett bolag om vilket vi endast får veta dess börsvärde och bransch.

Det är två olika aspekter på denna uppskattning som båda bidrar till att svar måste bli väldigt osäkra. För det första är frågeställningen extremt underspecificerad. Vi får till exempel inte veta om VD:n gör ett bra eller dåligt jobb, och inte heller hur vi ska tolka det mångfasetterade begreppet ”rättvis”.

För det andra är frågeställningen extremt långt ifrån vår erfarenhet. Kanske har svenskar någon liten erfarenhet av att tänka på vad som vore rättvisa löner inom vissa branscher i Sverige, men säkerligen mycket ringa erfarenhet av att bedöma hur olika egenskaper hos ett amerikanskt mångmiljardföretag och dess VD borde påverka VD:ns årslön.

Av ovanstående två skäl uppstår osäkerhet. Det betyder att om man ställer denna fråga till ett antal svenskar (eller till samma svensk vid olika tillfällen) torde man få kraftigt varierande svar. Av dessa svar kan man förstås räkna ut ett medelvärde, som skulle kunna bli 1821397 dollar för den manliga direktören och 1450921 dollar för den kvinnliga diton. Men det är helt meningslöst att skriva ut alla dessa siffror på medelvärdet om de verkliga svaren i själva verket varierar mellan, säg, en halv miljon och fem miljoner dollar. Då finns ju ingen konsensus ens om den första siffran i svaret, och medelvärdet kommer därmed att variera kraftigt beroende på vilka deltagare vi råkar ha och vilket humör de råkar vara på just när vi frågar. Komiken i den högt angivna noggrannheten ligger i att den gör anspråk på något som egentligen inte finns där. Tänk på barnet som skrattade åt kejsarens nya kläder!

Men det är inte bara roligt när för hög noggrannhet anges. Det tyder också på att författaren inte riktigt begriper sitt datamaterial. Då kan det finnas ännu allvarligare problem att upptäcka om man tittar närmare. I det här fallet fanns en studie som underlag till artikeln på DN Debatt. Där kunde jag läsa att det inte var så som jag trodde, att man frågat deltagarna vilken lön som vore rättvis. Istället hade forskarna presenterat en hypotetisk lön och därefter bett deltagarna att med ett lämpligt tal beskriva hur stor orättvisan skulle vara i den hypotetiska lönen. Ingen skala angavs, utan deltagarna kunde välja dessa tal fritt. ”Hm, hur orättvis är årslönen 60 miljoner dollar på den här VD:n? Jag tycker att orättvisan är 17 godtyckliga enheter stor.” Det var alltså inte nog med de osäkerhetsfaktorer som jag nämnde ovan. Genom sitt märkliga metodval lade forskarna frivilligt till denna onödiga osäkerhet i vad deltagarnas svar egentligen betydde.

Från detta hopplöst osäkra datamaterial försökte forskarna genom en (illa vald) matematisk modell uppskatta vilka lönenivåer som varje deltagare ansåg rättvisa. I en tabell i deras artikel kan man se vilka lönenivåer de fick fram genom sin beräkning. Jag hade ju befarat att variationen skulle vara så stor som mellan en halv och fem miljoner dollar. Men i forskarnas tabell kunde jag avläsa att variationen mellan olika tal var mycket större än så. Faktiskt jättemycket större än så. Krokofantligt mycket större, om man ska tala klarspråk. Enligt tabellen skulle en deltagare ha ansett att den rättvisa lönen för en viss direktör vore inte mindre än 1430 miljarder miljarder miljarder dollar. Som jämförelse är det ungefär hundra miljoner miljarder gånger mer än USAs hela bruttonationalprodukt.

Jag skrev en artikel om detta i Ekonomisk Debatt (2005, nr 2). I samma nummer fick forskarna möjlighet till replik. Där försvarade de utan förbehåll sina metoder och skrev exempelvis:

Bara för att Eriksson uppfattar skattningarna av Just Pay som orimliga betyder inte detta att skattningarna är orimliga.

Observera att detta är ett helt riktigt påpekande, en truism. Som de flesta truismer är det också innehållslöst som argument. Vi kan ju lika gärna vända på det och konstatera att deras påpekande inte heller innebär att skattningarna är rimliga.  Låt oss istället undersöka sakskälen för att inta den ena eller andra uppfattningen.

 

Min uppfattning är alltså att det är orimligt att det skulle vara en MBA-students allvarliga bedömning att en rättvis lön för en viss direktör är hundra miljoner miljarder gånger mer än USAs hela bruttonationalprodukt. Ett sakskäl är att ett företag som betalar en sådan årslön skulle vara bankrutt på en bråkdel av en sekund, alla dess löneutbetalningar skulle behöva inställas, och tusentals människor skulle drabbas. Men kanske är just denna MBA-student sadistiskt lagd och finner detta ”rättvist”? Kanske, men en av dem som drabbas är just direktören som bara fick ut någon miljarddels miljarddel av den förment rättvisa lönen. Den faktiska lönen skulle alltså nödvändigtvis bli något helt annat än den angivna lönen, och därmed går det inte ens att tala om den angivna lönen som rättvis.

 

Mitt förslag i brevet till forskaren E var att vi tillsammans skulle skriva en folkbildande artikel om hur lätt det är att övertro på matematiska modeller leder fel och att så skedde i detta fall. (Erbjudandet gäller förstås fortfarande!) Nästa veckas blogginlägg kommer att handla om forskning på hur vanligt det är med övertro på matematik.