2019-06-05 Sebastian Westenhoff, Mia Phillipson, Magnus Jonsson och Sanna Koskiniemi, Sveriges unga akademi

Hur vet du det, Stephen Hwang?

Stephen Hwangs rapport om att staten bör minska andelen extern forskningsfinansiering, har stora metodmässiga brister. De slutsatser som presenteras stöds inte av data, skriver Sveriges unga akademi.

Sebastian Westenhoff, Mia Phillipson, Magnus Jonsson, Sanna Koskiniemi

Inför riksdagsvalet 2018 deltog Sveriges unga akademi i kampanjen #hurvetdudet för att uppmärksamma politiker på vikten av att använda vetenskapliga underlag för att fatta beslut. Vikten av källkritik betonas redan i grundskolan, är avgörande i högre utbildning och bör självfallet även omfatta statliga utredningar – som STRUT.

Styr- och resursutredningen (STRUT) har präglat den forskningspolitiska debatten det senaste året. I såväl STRUT-utredningen som den efterföljande diskussionen har det flitigt refererats till Stephen Hwangs rapport[1] som argument för att staten bör minska andelen forskningsfinansiering som sker via externa anslag. När vi läste rapporten förväntade vi oss därför ett gediget arbete med vetenskapligt underbyggda slutsatser, men tji fick vi. Istället konstaterar vi att Hwangs rapport har stora metodmässiga brister och att slutsatserna som presenteras inte stöds av data.

Rapporten brister i tre viktiga avseenden:

  • Hwangs hypotes är att höjd andel basanslag ger bättre forskning och hans huvud-argument baseras på en korrelation dem emellan. Han gör därmed det klassiska misstaget att missta korrelation för kausalitet. Att chokladintaget i ett land korrelerar med antalet nobelpristagare[2] (korrelation) betyder inte nödvändigtvis att chanserna att få nobelpris ökar av att äta mer choklad (kausalitet). En korrelation mellan två variabler kan innebära orsakssamband, men att sätta likhetstecken mellan kausalitet och korrelation på det sätt som Hwang genomgående gör i rapporten är inte korrekt. Det är också problematiskt att rapporten drar alla olika typer av extern finansiering över en kam, inte minst då de bibliometriska mått som Hwang använder för att värdera forskningskvalitet är irrelevanta för vissa typer av externa medel.
  • I rapporten drar Hwang grovt förenklade slutsatser kring sina resultat. Exempelvis påstår han att minskad extern forskningsfinansiering skulle frigöra mer tid till forskning, eftersom forskarna då skulle lägga mindre tid på att söka forskningsbidrag. Ett lika möjligt scenario är att forskarna istället skulle lägga ännu mer tid på att söka de få bidrag som blir kvar. Den här typen av påstående, utan reflektion över alternativa förklaringar och konsekvenser, skulle vi inte acceptera i en studentuppsats.
  • Vi saknar också en deklaration om intressekonflikter från rapportförfattaren. Stephen Hwang är rektor vid ett mindre svenskt lärosäte och har rimligen ett stort egenintresse av hur basanslag fördelas. Det hade varit befogat att nämna detta i sammanhanget.

De utredningar som politikerna får som beslutsunderlag måste grundas på gedigna analyser, som håller måttet metodmässigt, och som tål kollegial granskning. Hwangs rapport gör inte det och hans slutsats saknar därför stöd; rapporten visar inte att bättre forskningskvalitet uppnås genom att flytta forskningsfinansiering från externa bidrag till basanslag. Det är för oss ett mysterium varför högskolesektorn accepterar att en rapport med så tydliga brister får ett så stort genomslag. Glöm inte bort att ställa den uppenbara frågan: Hur vet du det?

För Sveriges unga akademi,
Sebastian Westenhoff, ny forskningspolitisk talesperson
Mia Phillipson, forskningspolitisk talesperson 2018–2019
Magnus Jonsson, ordförande
Sanna Koskiniemi, vice ordförande

Fotnoter:
[1] Forskningskvalitet, effektivitet och extern finansiering, version 2018.09.04
[2] Vilket visats i en studie i New England Journal of medicine

6 kommentarer

Tack för din kommentar. Den kan komma att modereras innan den publiceras.

  • Johan Elf

    Bra där SUA!

    När det gäller Hwangs korrelation så kan kausaliteten också gå åt andra hållet än han föreslår, dvs det kan vara så att ett universitet får mer pengar för att det görs bra forskning där.

    2019.06.05

  • Joakim Amorim

    SUA +1 lajk! Andel på y-axel och andel på x-axel känns också lite skakigt. Varför inte en parameter mot en annan? Ska man dra en linje genom punkter som borde ha ett optimum (typ uppochnedvänd x^2)? Hur har urvalet av datapunkter valts ut?

    Läsvärt är även SUAS svar på STRUT:en.

    2019.06.05

  • Lars Hellström

    Med tanke på var författarna lägger ribban vad gäller vetenskaplig metod är fotnot [2] förvånansvärt luddig.

    Att påstå att alternativscenariot med att forskare skulle lägga lika mycket tid på att söka färre bidrag ur en mindre pott är LIKA möjligt framstår som direkt tveksamt. Möjligt ja, men ett påstående om lika möjlighet innebär flera metodologiska åtaganden: (i) att ha konstruerat en skala för att gradera möjlighet och (ii) att ha utvärderat båda hypoteserna gentemot den skalan. Argument mot det framhållna alternativscenariot är enkla att konstruera, så i den delen verkar bedömningen mera bli att rapporten är illa skriven (tar inte chansen att avfärda alternativ) än att slutsatsen skulle vara fel.

    2019.06.05

  • Kerstin I. M. Holm

    Det räcker inte att ställa frågan "Hur vet du det, Stephen Hwang?" till en enskild rapportförfattare. Och sedan stanna i inomvetenskapliga detaljer. Det har genomförts en politisk institutionalisering som i hög grad har påverkat lärosätena genom den bibliometriska metoden - inte bara vid fördelning av forskningsbidrag.
    Rent vetenskapligt har det kanske värst drabbat professionalismen i Skolan. Se min blogg
    FARA! Den Formativa Skolan
    www.kunskapsvetenskap.se
    Kerstin I. M. Holm
    Kunskapsanalytiker
    Fil.dr. i pedagogik

    2019.06.05

  • Erik Svensson

    Utmärkt inlägg! Både Stephen Hwang och Ulf Sandström är tydligt agendadrivna och de data de lyfter fram som stöd för sina teser är skakiga och de statistiska analyserna bristfälliga och svaga. Jag är glad att Sveriges Unga Akademi nu uppmärksammar dessa lobbyisters svaga argument och illa dolda agenda som riskerar att kraftigt försvaga Sverige som forskningsnation om deras illa genomtänkta förslag skulle genomdrivas. Stärk forskningsråden istället för att avveckla dem som Hwang och Sandström vill!

    2019.06.05

  • Ulf Heyman

    Det är dock notabelt att Vetenskapsrådet använder samma kvot mot kvot korrelationer i sin pm för att motbevisa Stephen.

    2019.06.07