Logotyp Curie - samtal om forskningens villkor
En skördetröska på ett fält med halmbalar, skog i bakgrunden.

I en studie har SLU-forskare granskat 216 internationella artiklar om miljöstöd till jordbrukare. Deras granskning visade på stora brister – även i de tre-fyra egna studier som ingick.

NYHET

”Vi kan inte bara låtsas att alla studier är bra”

Forskningsstudier genomförs inte alltid enligt regelboken.
De kan lova för mycket, visa på samband som inte finns eller inte vara replikerbara. Det vet två forskare som har varit med om att granska studier inom olika discipliner – och upptäckt många brister.

porträttbild Jonas Josefsson

Jonas Josefsson

Naturvårdsbiologen Jonas Josefsson har gjort något så ovanligt som att ifrågasätta sina egna studier. Intresset att granska forskning startade redan under doktorandtiden då hans seminariegrupp brukade träffas varje fredag och diskutera artiklar.

– Det slutade alltid med att vi satt och ondgjorde oss över metoddelen, snarare än att diskutera de faktiska resultaten.

Nu ett antal år senare har han, tillsammans med kollegan Tomas Pärt och hela enheten för landskapsekologi vid Sveriges Lantbruksuniversitet, SLU, gjort en studie där de granskat 216 internationella artiklar om miljöstöd till jordbrukare. Deras granskning visade på stora brister – även i de tre-fyra egna studier som ingick.

Feldesignade studier

Ett problem är att många av studierna inte visar hur effektiva miljöersättningar är för att värna den biologiska mångfalden. De är inte designade för att mäta det.

Jonas Josefsson konstaterar att ett av de största problemen är att det är markägare och beslutsfattare som avgör var åtgärden ska utföras. Då är det inte säkert att stödet hamnar där det gör bäst nytta.

– Om vi som forskare varit med från början hade vi använt en design där vi studerar ett stödområde före och efter en åtgärd och jämför med en kontrollyta utan åtgärd under samma period. I den bästa av världar vill man även att slumpen får avgöra vilket område som blir stöd eller kontroll, men av praktiska skäl är det ofta svårt.

Forskarna vid SLU har dessutom granskat hur studierna tolkat korrelation och kausalitet, alltså om det finns ett samband mellan en åtgärd och ett resultat. Och om det dessutom går att påvisa orsak och verkan, det vill säga att resultatet beror på åtgärden.

– Vi ville titta på om man i korrelativa studier använder kausalt språk, även om det faktiskt inte går att göra det utifrån de data man har.

Hävdat orsakssamband som inte finns

Det visade sig att två tredjedelar av studierna anger orsakssamband, kausalitet, trots att det bara finns ett samband, en korrelation.

– Jag har själv suttit och spetsat till, och använt kausalt språkbruk. Vid publicering krävs att man ska vara tydlig och distinkt och då händer lätt sådana saker.

Forskargruppen tittade också på om studierna diskuterar om det kan finnas systematiska fel eller alternativa tolkningar. Men det visade sig att nästan inga studier gjort det.

Jonas Josefsson är inte förvånad över deras resultat.

– Vi misstänkte att det var så här. Vårt ansvar är att börja diskutera detta, för om vi bara låtsas att alla studier är bra blir det aldrig någon förändring.

Försöker påverka tidskrifterna

En väg att gå är att försöka påverka tidskrifterna. Forskargruppen skriver nu till de 40 största naturvårdstidskrifterna för att utröna om det finns något intresse av att ställa högre krav.

– Vi vill att forskare i sina artiklar ska diskutera potentiella fel och brister. Nu finns inga formella krav på det, inget ramverk som till exempel vissa samhällsvetenskapliga tidskrifter har.

Konsekvenser av dåligt utförda studier kan i värsta fall bli att miljöstöd utbetalas felaktigt, men framförallt att man inte kan uppskatta effekterna av de åtgärder som görs.

– Det blir svårt att veta vad man får för pengarna.

Van att granska andras forskning

porträttbild Anna Dreber Almenberg

Anna Dreber Almenberg

Anna Dreber Almenberg som är professor i nationalekonomi vid Handelshögskolan i Stockholm är också van att granska andras forskning. Hon och hennes kollegor brukar diskutera studier som de är skeptiska till.

De deltog i den stora internationella studien Open Science Collaboration 2015 där 270 forskare gjorde om hundra psykologistudier. Det visade sig att hälften inte ens gick att replikera och bara en tredjedel av resultaten var statistiskt signifikanta.

Anna Dreber Almenberg och hennes kolleger ledda av Eva Ranehill vid Göteborgs universitet, har även gjort en uppmärksammad replikationsstudie om ”power posing”. I ursprungsstudien hävdades att om människor under några minuter placerar kroppen i maktpositioner skulle det leda till hormon- och beteendeförändringar.

– Vi gjorde om den med fem gånger så många deltagare – och kunde inte replikera huvudresultaten.

Alla discipliner

Anna Dreber Almenberg menar att kvaliteten inom just psykologisk forskning ökat markant efter dessa replikationsstudier. Det kan vara svårare att replikera studier inom discipliner som nationalekonomi eller statsvetenskap, där man till exempel studerat ett visst skeende som inte går att återskapa. Men alla discipliner borde granskas menar Anna Dreber Almenberg.

– Vi får räkna med att det finns vissa felaktiga resultat, även av forskare som gör bra forskning. Det är en del av processen.

Hon konstaterar att falska positiva resultat tenderar att leva kvar ganska länge i litteraturen. Det är svårt att få replikationsstudier publicerade, och även om de publiceras i en bra tidskrift är det inte säkert att de som såg den första studien kommer att upptäcka den andra.

– Det är inte det att forskare är lata eller slarviga men det är svårt att hinna följa allt som citeras. Felaktiga resultat försvinner så småningom och det gäller att påskynda den processen. Annars riskerar vi att människors tillit till vetenskapen minskar och det är problematiskt. Men det finns många skäl att tro att det håller på att bli bättre.

Minska risken att hamna snett

Hennes råd till andra forskare för att minska risken att hamna snett är att göra en förregistrerad analysplan. En plan där man specificerar all analys som ska göras – och sedan strikt håller sig till den. Eller att göra en multiverseanalys, där man analyserar allt som är tänkbart utifrån materialet och sedan rapporterar resultaten.

– Transparens är superviktig. Ofta är vi kära i våra hypoteser och då är det extra viktig att försöka skydda oss själva från att tro att vi har något spännande – när vi inte har det.

Studien om granskning av miljöstöd från SLU Länk till annan webbplats.

Vetenskaplig artikel: Over half of psychology studies fail reproducibility test, i tidskriften Nature (Engelska) Länk till annan webbplats.

Replikationsstudien om power posing pdf) Länk till annan webbplats.

Relaterat innehåll

Nyhet 20 mars 2024

Johan Frisk

Nämnden för prövning av oredlighet i forskning har avlastat lärosätena i arbetet kring anklagelser om forskningsfusk. Men både nämnden och de anmälda forskarna efterlyser mer stöd ...

Nyhet 20 mars 2024

Johan Frisk

Ett hundratal anmälningar om oredlighet har utretts de fyra senaste åren. Vad blir konsekvenserna av en fällning? Och vilket ansvar har en medförfattare för innehållet i en vetensk...

Nyhet 5 februari 2024

Charlie Olofsson

Allt mer forskning som berör samer görs i samverkan med samiska organisationer, men det är ingen självklarhet. I länder som Australien, Nya Zeeland och Kanada är samverkan däremot ...