2019-05-15 Bo Malmberg, professor, kulturgeografiska inst, Stockholms universitet

Hänvisa inte till osäker statistik

Bo Malmberg reagerar på bristande dataunderlag i en debattartikel i DN.
Om man som forskare skriver en debattartikel som får rubriken ”Lägg ner forskningsråden för universitetens bästa”, är det centralt att den evidens man hänvisar till går att lita på, skriver han.

Bo Malmberg

”Mycket talar … för att rådssystemet leder till våldsam ineffektivitet för den svenska forskningen” skriver Patrik Hall och Ulf Sandström på DN Debatt den 12 maj 2019. Men hur stark är deras evidens? De hänvisar till en studie av Sandström och Van Den Besselaar från 2018 och hävdar att ”länder som ger rådighet till sina universitet och till forskarnas fakulteter har visat sig vara mer effektiva och får bättre resultat i internationella jämförelser än Sverige”. Det vill säga att en hög andel rådsfinansiering leder till att den vetenskapliga produktionen blir lägre än om forskningsresurser tillförs universiteten direkt.

Granskar man den publikation som Hall och Sandström hänvisar till, visar det sig dock att stödet för detta påstående är svagt. Man visar en figur som kopplar andelen extern finansiering till hur väl länder relativt sett lyckas med den vetenskapliga publiceringen, och i figuren har man lagt i en linje som visar hur sambandet ser ut. Den lutar nedåt och det visar, enligt artikeln, att det finns en medelstark till svag korrelation mellan effektivitet och nivån på konkurrensutsatt forskningsfinansiering. Men författarna underlåter att diskutera om detta resultat är statistiskt säkerställt. De har endast 18 datapunkter som uppvisar stor spridning och det brukar leda till problem med det som kallas statistisk signifikans. Jag har fått ta del av det dataunderlag som forskarna använt och gjort en egen analys. Den analysen visar att felmarginalen är så stor att man inte med säkerhet kan fastställa att den har en negativ lutning.

De har endast 18 datapunkter som uppvisar stor spridning och det brukar leda till problem med det som kallas statistisk signifikans.

Är detta ett problem? Svaret är ja. Om man som forskare skriver en debattartikel som får rubriken ”Lägg ner forskningsråden för universitetens bästa” är det centralt att den evidens man hänvisar till går att lita på. Och här kan jag inte se annat än att Patrik Hall och Ulf Sandström slarvat. Ska man hänvisa till resultat som inte är statistiskt säkerställda måste det anges tydligt så att läsaren görs medveten om graden av osäkerhet. Inte minst gäller detta om man ska dra slutsatser när det gäller en fråga med stor politisk sprängkraft.

Visst är det bra att vi får en diskussion om vilken roll rådsfinansieringen ska ha men samtidigt måste en sådan debatt föras utifrån sanna premisser. För visst vore det minst sagt ironiskt om beslut gällande hur fördelningen av många miljarder i forskningsstöd ska organiseras görs på grundval av en undersökning som inte lever upp till de krav på statistisk säkerhet som gäller för vetenskapliga studier?

Bo Malmberg
Professor, kulturgeografiska institutionen, Stockholms universitet

1 kommentar

Tack för din kommentar. Den kan komma att modereras innan den publiceras.

  • Erik Svensson

    Mycket bra och avslöjande artikel om den "cherry picking" av osäker statistik som Ulf Sandström gjort sig skyldig till i sin debattartikel. Mycket svag slutreplik av Sandström, för övrigt.

    2019.06.08