2019-06-04 Ulf Sandström, docent och forskare vid KTH

Replik: Sammanhanget ger underlaget för slutsatserna

Bo Malmberg kritiserar användandet av osäker statistik i debattartikeln ”Lägg ner forskningsrådet för universitetens bästa” i DN. Ulf Sandström, en av dem som skrev debattartikeln, menar dock att redan en svagt negativ korrelation mellan typ av finansiering och effektivitet pekar mot att forskningsrådens stöd i sig inte leder till bättre forskning.

Ulf Sandström

Min debattartikel i DN (12 maj 2019) (1) tillsammans med Patrik Hall är ett bidrag till en diskussion om forskningsrådens funktion i forskningssystemet. Vetenskapsrådet är bara ett exempel på hur en policy har fastställts utan att det funnits empiriska belägg för att det skulle vara en effektiv lösning. Det var på grund av svagheter i sektoriellt finansierade forskningen som tilltron till rådsmodellen blev alternativet för forskningsfinansiering. Den andra möjligheten – universitet – beaktades överhuvudtaget inte.

Tyvärr är de statliga råden i dagsläget de enda externa finansiärer av universitetens forskning som politiken kan påverka – till exempel genom att kraftigt reducera verksamheten. Fick vi balans i systemet skulle varje fast anställd meriterad forskare, som Ulf Heyman visat i en utredning (2), kunna få forskning i tjänsten (2017).

DN-artikeln bygger delvis på resultat från en publikation i tidskriften Journal of Informetrics (2018) (3). Den problematiserar OECD-data på nationell nivå samt påbörjar undersökningen av relationen mellan direktfinansiering och projektfinansiering i ett antal länder. Men knappheten på data gör det svårt att få fram forskningens institutionella dimensioner. På basis av tillgängliga data kan vi sluta oss till att konkurrenshypotesen inte får något stöd, vilket är en synnerligen viktig och avgörande upptäckt i studien.

Redan att det är en svagt negativ korrelation mellan typ av finansiering och effektivitet är i sig intressant.

Redan att det är en svagt negativ korrelation mellan typ av finansiering och effektivitet är i sig intressant. Det pekar på ett allvarligt problem för hypotesen att forskningsråd skulle leda till bättre forskning. Korrelationen borde ju vara starkt positiv för länder med hög andel konkurrensutsatta forskningsmedel, men det är inte ett sådant mönster som framträder.

I sin kommentar i Curie kritiserar Bo Malmberg att vi använder ”osäker statistik”, men som jag skriver ovan är det redan klargjort i artikeln. Statistiken har brister men underlaget för analysen är betydligt större än den bristfälliga statistiken och publikationen är framförallt ett förslag till vidare studier av så kallad prestationsbaserad finansiering av forskning bör läggas upp, förändring år för år, inte absoluta tal. Då får vi jämförbarhet mellan länder.

Malmberg verkar vara ute efter att vilseleda läsaren. Det gör han A) genom att läsa så selektivt att han begränsar sig till ett enda steg i analysen,  B) genom att han bortser från det som sägs om saken före och efter analysen, och (C) genom att inte förstå att publikationerna är delar av ett större forskningsprogram och som kommunicerar extremt väl med andras bidrag inom området.

En lång rad indicier pekar nämligen mot att forskningsrådens stöd i sig inte leder till bättre forskning. Det är den allvarliga bakgrunden till diskussionen. Rådens förmåga till valida prediktioner när de väljer ut talanger har påvisats vara ytterligt svag, se Journal of Informetrics (2015) (4). Stephen Hwang visar i Forskningskvalitet, effektivitet och extern finansiering (2018) (5) att det mönster som vi påvisat också gäller på universitetsnivå i Sverige. Fascinerande! Det antyds till och med vara fallet på institutionsnivå.

I ett konferensbidrag Productivity Differences between Universities (2012) (6) visade jag att samma sak var fallet när olika typer av högskolor och universitet jämfördes. Vetenskapsrådets egen analysavdelning har visat att de artiklar som tackar rådet inte når högre citeringsgrad och forskare som får medel blir inte bättre. Dessa opublicerade rapporter kan rekvireras: dnr 351-2014-7356 Förbättrad analysverksamhet kring effekterna av Vetenskapsrådets stöd. Borde inte de rapporterna göras offentliga?

Jag har också försökt ge rimliga förklaringar till varför dessa mönster framträder i en rapport med titeln: En granskning av granskarna (2015) (7). Där framkommer (a) att beredningsgruppernas ledamöter vid ämnesrådet för medicin och hälsa inom Vetenskapsrådet inte är annat än rätt mediokra forskare som oftast inte ingår i den grupp som bär upp svensk forskning; och (b) att den resursfördelning mellan universitet som blir resultatet av rådens beslut närmast exakt avspeglar hur ledamöterna är fördelade över dessa universitet. Innebörden är att transaktionskostnaderna för hela spektaklet är en ”våldsam ineffektivitet för den svenska forskningen”, som Hall och jag uttryckte det i DN 12 maj.

Sammanfattningsvis: Vetenskapsrådet gör inte det man säger sig göra och verkar oförmöget att ändra på detta förhållande. Inför nästa forskningsproposition bör regeringen systematiskt utvärdera varför det verkar som att samtliga tre forskningsråd inte bidrar till att höja den svenska forskningen. Och klarar inte råden sitt uppdrag är det troligt att universiteten gör bättre nytta av resurserna.

Ulf Sandström
Docent och forskare vid KTH

Fotnoter:
1). Ulf Sandström och Patrik Hall: Lägg ner forskningsråden för universitetens bästa. DN Debatt 12 maj 2019.
2). Ulf Heyman: En kalkyl över vilka löner som kan betalas över basanslagen (2017).
3). Ulf Sandström & Peter van den Besselaar: Funding, evaluation, and the performance of national research systems. Journal of Informetrics 12 (2018) 365–384.
4). Ulf Sandström & Peter van den Besselaar: Early career grants, performance, and careers: A study on predictive validity of grant decisions. Journal of Informetrics 9 (2015) 826–838.
5). Stephen Hwang: Forskningskvalitet, effektivitet och extern finansiering (2018).
6). Ulf Sandström: Productivity Differences between Universities: Are Small and Regional Less Productive? Paper till STI-konferensen i Montreal 2012.
7). Ulf Sandström: En granskning av granskarna: Hur bra är beredningsgrupperna? [Vetting the panel members]. Forskning om forskning (2015).

5 kommentarer

Tack för din kommentar. Den kan komma att modereras innan den publiceras.

  • Joakim Amorim

    Forskare argumenterar alltså för bättre forsking och citerar samtidigt uteslutande: sig själv och interna (icke sakkunniggranskade) rapporter...

    2019.06.05

  • Lars Hellström

    @Joakim Amorim: Men snälla nån… Det här är ju en debattartikel, ingen litteraturöversikt! I jämförelse med den parallella debattartikeln från SUA som du "lajkade" så är källhänvisningarna här föredömliga. (Däremot borde DOI ha angetts för de dokument som har sådana, så att den skeptiske läsaren enklare kan verifiera källorna – nu kan länkarna få det att se ut som att det mesta är egenpublicerat.)

    2019.06.05

  • Erik Svensson

    Otroligt svag slutreplik av Sandström. Han har blivit påkommen med att citera sin egen artikel oerhört vinklat, bl. a. genom att påstå att en regressionskoefficient som inte ens är signifikant säger någonting väsentligt ö. h. t. Jag citerar Ulf Sandström själv när han försöker slingra sig undan Bo Malmbergs välriktade kritik mot detta ohederliga användande av statistik:

    "Redan att det är en svagt negativ korrelation mellan typ av finansiering och effektivitet är i sig intressant."

    Vad exakt är det som är "intressant" här? En regressionskoefficient som inte är signifikant skild från noll kan man inte påstå visar någon "negativ korrelation" som Ulf Sandström påstår ovan. Det här är vad vi skulle kalla för "cherry picking of data" i alla andra statistiska och vetenskapliga sammanhang, och är grovt ohederlig argumentation från Ulf Sandströms sida. Han har förlorat all trovärdighet i sin kritik av forskningsråden baserat på hur han vinklat sina debattinlägg och kommer med påståenden som inte håller statistiskt. Tack Bo Malmberg för att du avslöjade detta!

    2019.06.05

  • Ulf Sandström

    Kommentera sakförhållandena om du kan herr Amorin, det finns som du säkert känner till många artiklar som ger stöd åt mina teser. Verkligen många som ger stöd och om Curie hade givit utrymme hade jag kunnat lägga upp alla dessa kritiska artiklar. Du kanske kan lägga upp dom?

    2019.06.06

  • Ulf Sandström

    Och i de papers som refereras hänvisas det till en mängd andra källor som ger stöd eller som argumenterar för sin sak men har andra utgångspunkter. I den forskningen bryr man sig bara om argumenten och styrkan i bevisningen. Man bryr sig inte om vem som säger vad, man ger istället argumentet primat. Verkligen tråkigt att se en representant för forskningsbyråkratin som inte har förstått elementa.

    2019.06.09