I en studie har SLU-forskare granskat 216 internationella artiklar om miljöstöd till jordbrukare. Deras granskning visade på stora brister – även i de tre-fyra egna studier som ingick.
Forskningen som lovar mer än den kan hålla:

”Vi kan inte bara låtsas att alla studier är bra”

English 2020-11-30

Forskningsstudier genomförs inte alltid enlig regelboken.
De kan lova för mycket, visa på samband som inte finns eller inte vara replikerbara. Det vet två forskare som har varit med om att granska studier inom olika discipliner – och upptäckt många brister.

Jonas Josefsson

Naturvårdsbiologen Jonas Josefsson har gjort något så ovanligt som att ifrågasätta sina egna studier. Intresset att granska forskning startade redan under doktorandtiden då hans seminariegrupp brukade träffas varje fredag och diskutera artiklar.

– Det slutade alltid med att vi satt och ondgjorde oss över metoddelen, snarare än att diskutera de faktiska resultaten.

Nu ett antal år senare har han, tillsammans med kollegan Tomas Pärt och hela enheten för landskapsekologi vid Sveriges Lantbruksuniversitet, SLU, gjort en studie där de granskat 216 internationella artiklar om miljöstöd till jordbrukare. Deras granskning visade på stora brister – även i de tre-fyra egna studier som ingick.

Feldesignade studier

Ett problem är att många av studierna inte visar hur effektiva miljöersättningar är för att värna den biologiska mångfalden. De är inte designade för att mäta det.

Jonas Josefsson konstaterar att ett av de största problemen är att det är markägare och beslutsfattare som avgör var åtgärden ska utföras. Då är det inte säkert att stödet hamnar där det gör bäst nytta.

– Om vi som forskare varit med från början hade vi använt en design där vi studerar ett stödområde före och efter en åtgärd och jämför med en kontrollyta utan åtgärd under samma period. I den bästa av världar vill man även att slumpen får avgöra vilket område som blir stöd eller kontroll, men av praktiska skäl är det ofta svårt.

Forskarna vid SLU har dessutom granskat hur studierna tolkat korrelation och kausalitet, alltså om det finns ett samband mellan en åtgärd och ett resultat. Och om det dessutom går att påvisa orsak och verkan, det vill säga att resultatet beror på åtgärden.

– Vi ville titta på om man i korrelativa studier använder kausalt språk, även om det faktiskt inte går att göra det utifrån de data man har.

Hävdat orsakssamband som inte finns

Det visade sig att två tredjedelar av studierna anger orsakssamband, kausalitet, trots att det bara finns ett samband, en korrelation.

– Jag har själv suttit och spetsat till, och använt kausalt språkbruk. Vid publicering krävs att man ska vara tydlig och distinkt och då händer lätt sådana saker.

Forskargruppen tittade också på om studierna diskuterar om det kan finnas systematiska fel eller alternativa tolkningar. Men det visade sig att nästan inga studier gjort det.

Jonas Josefsson är inte förvånad över deras resultat.

– Vi misstänkte att det var så här. Vårt ansvar är att börja diskutera detta, för om vi bara låtsas att alla studier är bra blir det aldrig någon förändring.

Försöker påverka tidskrifterna

En väg att gå är att försöka påverka tidskrifterna. Forskargruppen skriver nu till de 40 största naturvårdstidskrifterna för att utröna om det finns något intresse av att ställa högre krav.

– Vi vill att forskare i sina artiklar ska diskutera potentiella fel och brister. Nu finns inga formella krav på det, inget ramverk som till exempel vissa samhällsvetenskapliga tidskrifter har.

Konsekvenser av dåligt utförda studier kan i värsta fall bli att miljöstöd utbetalas felaktigt, men framförallt att man inte kan uppskatta effekterna av de åtgärder som görs.

– Det blir svårt att veta vad man får för pengarna.

Van att granska andras forskning

Anna Dreber Almenberg

Anna Dreber Almenberg som är professor i nationalekonomi vid Handelshögskolan i Stockholm är också van att granska andras forskning. Hon och hennes kollegor brukar diskutera studier som de är skeptiska till.

De deltog i den stora internationella studien Open Science Collaboration 2015 där 270 forskare gjorde om hundra psykologistudier. Det visade sig att hälften inte ens gick att replikera och bara en tredjedel av resultaten var statistiskt signifikanta.

Anna Dreber Almenberg och hennes kolleger ledda av Eva Ranehill vid Göteborgs universitet, har även gjort en uppmärksammad replikationsstudie om ”power posing”. I ursprungsstudien hävdades att om människor under några minuter placerar kroppen i maktpositioner skulle det leda till hormon- och beteendeförändringar.

– Vi gjorde om den med fem gånger så många deltagare – och kunde inte replikera huvudresultaten.

Alla discipliner

Anna Dreber Almenberg menar att kvaliteten inom just psykologisk forskning ökat markant efter dessa replikationsstudier. Det kan vara svårare att replikera studier inom discipliner som nationalekonomi eller statsvetenskap, där man till exempel studerat ett visst skeende som inte går att återskapa. Men alla discipliner borde granskas menar Anna Dreber Almenberg.

– Vi får räkna med att det finns vissa felaktiga resultat, även av forskare som gör bra forskning. Det är en del av processen.

Hon konstaterar att falska positiva resultat tenderar att leva kvar ganska länge i litteraturen. Det är svårt att få replikationsstudier publicerade, och även om de publiceras i en bra tidskrift är det inte säkert att de som såg den första studien kommer att upptäcka den andra.

– Det är inte det att forskare är lata eller slarviga men det är svårt att hinna följa allt som citeras. Felaktiga resultat försvinner så småningom och det gäller att påskynda den processen. Annars riskerar vi att människors tillit till vetenskapen minskar och det är problematiskt. Men det finns många skäl att tro att det håller på att bli bättre.

Minska risken att hamna snett

Hennes råd till andra forskare för att minska risken att hamna snett är att göra en förregistrerad analysplan. En plan där man specificerar all analys som ska göras – och sedan strikt håller sig till den. Eller att göra en multiverseanalys, där man analyserar allt som är tänkbart utifrån materialet och sedan rapporterar resultaten.

– Transparens är superviktig. Ofta är vi kära i våra hypoteser och då är det extra viktig att försöka skydda oss själva från att tro att vi har något spännande – när vi inte har det.

Text: Helena Östlund

4 kommentarer

Tack för din kommentar. Den kan komma att modereras innan den publiceras.

  • Roger Pyddoke

    ...och vilket intresse har kommersiella tdskriftsförlag och forskare att göra det svårare att publicera? Behövs en tredjepartsgranskning av tidskrifter?

    2020.12.04

  • Jonas Tegenfeldt

    Enormt viktigt!

    Frågan är om man inte också skulle bjuda in flera discipliner i replikationsgranskningen av gamla resultat och publikationer. Genom att göra replikationsgranskningen interdisciplinär gör man det möjligt att dra nytta av olika discipliners traditioner att säkra god vetenskap och tillförlitlig kunskap.

    Exempelvis finns det inom medicinsk forskning en lång tradition att minimera bias genom dubbelblindade studier. Andra discipliner har betydligt mindre krav på blindning och är därmed också kanske inte lika väl rustade att se effekter i form av bias av denna brist. Exempelvis inom humaniora och samhällsvetenskap är det mycket ovanligt med blindade studier. Hantering av osäkerhet och spridning av data är en annan viktig komponent i god forskningssed. Här skulle man kunna lära sig mer från exempelvis partikelfysik där man lägger mycket kraft på att kvantitativt förstå och beskriva de osäkerheter som hör till de experimentella resultaten.

    Sammanfattningsvis, med tanke på att olika discipliner har olika syn på vad som utgör god vetenskap, hur man hanterar bias och hur man gör för att vara rimligt säker på att den kunskap som produceras också är tillförlitlig, så bör vi också jobba mer tillsammans på ett interdisciplinärt sätt så att vi alla kan lära från varandra.

    2020.12.04

  • Mats Bladh

    Det verkligt fina med Jonas Josefssons kritiska metod är att de hade en seminariegrupp som granskade texter tillsammans. Seminariebehandling, helst med utsedd opponent, är viktigt tror jag. Även ansikte mot ansikte med författaren. Den lokala kontrollen, gruppens självkontroll, hotar gå förlorad om man bara ska lita till två lektörer, kanske med svag kännedom om svenska förhållanden, ska bli den enda kontrollstationen.

    2020.12.16

  • Robert Lundqvist

    Metodbrister är allvarligt, inte tu tal om det. Men ett annat problem är studier som kanske inte fyller någon egentlig lucka. Nu är det kanske elakt att ta just detta exempel, men rätt nyligt kunde vi t ex läsa om en studie av sambandet mellan individers hälsa och deras katters och hundars hälsa (https://www.uu.se/nyheter-press/nyheter/artikel/?id=15960&typ=artikel). Om man går ner på byn och frågar om folk tror att det finns något samband mellan mattes/husses hälsa och deras hundars hälsa tror jag de flesta skulle svara jakande. En flitig motionär torde knappast lämna hunden hemma. Om jag ligger kvar i soffan kommer min hund inte heller ut. Behövs verkligen en registerstudie byggd på uppgifter om bl a 175 000 hundägare? Kan resultaten verkligen tänkas ge så mycket ny kunskap att den är motiverad?
    Lite tråkigt kanske att hacka på enskild studie, men fenomenet är inte unikt. Och jag kan ha fel, just denna studie kanske kan motiveras utifrån vinklar som jag inte har koll på. Men ändå, nog finns det en del studier där resultaten landar i självklarheter? Och det är väl en nog så allvarlig brist?

    2020.12.17