Logotyp Curie - samtal om forskningens villkor
En skördetröska på ett fält med halmbalar, skog i bakgrunden.

I en studie har SLU-forskare granskat 216 internationella artiklar om miljöstöd till jordbrukare. Deras granskning visade på stora brister – även i de tre-fyra egna studier som ingick.

NYHET

”Vi kan inte bara låtsas att alla studier är bra”

Forskningsstudier genomförs inte alltid enligt regelboken.
De kan lova för mycket, visa på samband som inte finns eller inte vara replikerbara. Det vet två forskare som har varit med om att granska studier inom olika discipliner – och upptäckt många brister.

porträttbild Jonas Josefsson

Jonas Josefsson

Naturvårdsbiologen Jonas Josefsson har gjort något så ovanligt som att ifrågasätta sina egna studier. Intresset att granska forskning startade redan under doktorandtiden då hans seminariegrupp brukade träffas varje fredag och diskutera artiklar.

– Det slutade alltid med att vi satt och ondgjorde oss över metoddelen, snarare än att diskutera de faktiska resultaten.

Nu ett antal år senare har han, tillsammans med kollegan Tomas Pärt och hela enheten för landskapsekologi vid Sveriges Lantbruksuniversitet, SLU, gjort en studie där de granskat 216 internationella artiklar om miljöstöd till jordbrukare. Deras granskning visade på stora brister – även i de tre-fyra egna studier som ingick.

Feldesignade studier

Ett problem är att många av studierna inte visar hur effektiva miljöersättningar är för att värna den biologiska mångfalden. De är inte designade för att mäta det.

Jonas Josefsson konstaterar att ett av de största problemen är att det är markägare och beslutsfattare som avgör var åtgärden ska utföras. Då är det inte säkert att stödet hamnar där det gör bäst nytta.

– Om vi som forskare varit med från början hade vi använt en design där vi studerar ett stödområde före och efter en åtgärd och jämför med en kontrollyta utan åtgärd under samma period. I den bästa av världar vill man även att slumpen får avgöra vilket område som blir stöd eller kontroll, men av praktiska skäl är det ofta svårt.

Forskarna vid SLU har dessutom granskat hur studierna tolkat korrelation och kausalitet, alltså om det finns ett samband mellan en åtgärd och ett resultat. Och om det dessutom går att påvisa orsak och verkan, det vill säga att resultatet beror på åtgärden.

– Vi ville titta på om man i korrelativa studier använder kausalt språk, även om det faktiskt inte går att göra det utifrån de data man har.

Hävdat orsakssamband som inte finns

Det visade sig att två tredjedelar av studierna anger orsakssamband, kausalitet, trots att det bara finns ett samband, en korrelation.

– Jag har själv suttit och spetsat till, och använt kausalt språkbruk. Vid publicering krävs att man ska vara tydlig och distinkt och då händer lätt sådana saker.

Forskargruppen tittade också på om studierna diskuterar om det kan finnas systematiska fel eller alternativa tolkningar. Men det visade sig att nästan inga studier gjort det.

Jonas Josefsson är inte förvånad över deras resultat.

– Vi misstänkte att det var så här. Vårt ansvar är att börja diskutera detta, för om vi bara låtsas att alla studier är bra blir det aldrig någon förändring.

Försöker påverka tidskrifterna

En väg att gå är att försöka påverka tidskrifterna. Forskargruppen skriver nu till de 40 största naturvårdstidskrifterna för att utröna om det finns något intresse av att ställa högre krav.

– Vi vill att forskare i sina artiklar ska diskutera potentiella fel och brister. Nu finns inga formella krav på det, inget ramverk som till exempel vissa samhällsvetenskapliga tidskrifter har.

Konsekvenser av dåligt utförda studier kan i värsta fall bli att miljöstöd utbetalas felaktigt, men framförallt att man inte kan uppskatta effekterna av de åtgärder som görs.

– Det blir svårt att veta vad man får för pengarna.

Van att granska andras forskning

porträttbild Anna Dreber Almenberg

Anna Dreber Almenberg

Anna Dreber Almenberg som är professor i nationalekonomi vid Handelshögskolan i Stockholm är också van att granska andras forskning. Hon och hennes kollegor brukar diskutera studier som de är skeptiska till.

De deltog i den stora internationella studien Open Science Collaboration 2015 där 270 forskare gjorde om hundra psykologistudier. Det visade sig att hälften inte ens gick att replikera och bara en tredjedel av resultaten var statistiskt signifikanta.

Anna Dreber Almenberg och hennes kolleger ledda av Eva Ranehill vid Göteborgs universitet, har även gjort en uppmärksammad replikationsstudie om ”power posing”. I ursprungsstudien hävdades att om människor under några minuter placerar kroppen i maktpositioner skulle det leda till hormon- och beteendeförändringar.

– Vi gjorde om den med fem gånger så många deltagare – och kunde inte replikera huvudresultaten.

Alla discipliner

Anna Dreber Almenberg menar att kvaliteten inom just psykologisk forskning ökat markant efter dessa replikationsstudier. Det kan vara svårare att replikera studier inom discipliner som nationalekonomi eller statsvetenskap, där man till exempel studerat ett visst skeende som inte går att återskapa. Men alla discipliner borde granskas menar Anna Dreber Almenberg.

– Vi får räkna med att det finns vissa felaktiga resultat, även av forskare som gör bra forskning. Det är en del av processen.

Hon konstaterar att falska positiva resultat tenderar att leva kvar ganska länge i litteraturen. Det är svårt att få replikationsstudier publicerade, och även om de publiceras i en bra tidskrift är det inte säkert att de som såg den första studien kommer att upptäcka den andra.

– Det är inte det att forskare är lata eller slarviga men det är svårt att hinna följa allt som citeras. Felaktiga resultat försvinner så småningom och det gäller att påskynda den processen. Annars riskerar vi att människors tillit till vetenskapen minskar och det är problematiskt. Men det finns många skäl att tro att det håller på att bli bättre.

Minska risken att hamna snett

Hennes råd till andra forskare för att minska risken att hamna snett är att göra en förregistrerad analysplan. En plan där man specificerar all analys som ska göras – och sedan strikt håller sig till den. Eller att göra en multiverseanalys, där man analyserar allt som är tänkbart utifrån materialet och sedan rapporterar resultaten.

– Transparens är superviktig. Ofta är vi kära i våra hypoteser och då är det extra viktig att försöka skydda oss själva från att tro att vi har något spännande – när vi inte har det.

Studien om granskning av miljöstöd från SLU Länk till annan webbplats.

Studien om 100 replikerade psykologistudier: Over half of psychology studies fail reproducibility test (tidskriften Nature)(English) Länk till annan webbplats.

Replikationsstudien om power posing Länk till annan webbplats.

Du kanske också vill läsa

Debatt 20 december 2021

Mathias Osvath och Tomas Persson

Sverige tycks som enda EU-land vilja fasa ut djurbaserad forskning som inte orsakar djuren onödigt lidande. Det blir konsekvensen av en juridiskt egendomlig definition av djurförsö...

Debatt 17 november 2021

Jordbruksverket

I Sverige har riksdagen bestämt att det är syftet med användningen av djur som avgör om det är djurförsök eller inte, inte huruvida djuret lider eller inte. Osvath, Persson och Fal...

Debatt 31 augusti 2021

Urban Fagerholm, Sven Hellberg, Lise-Lott Alsenius, Louise Cederlöf

Nya datormodeller överträffar djurförsök i träffsäkerhet. Nu är det hög tid att ansvariga myndigheter sätter upp tydliga kvalitetskriterier och tillämpar djurskyddslagen – för förs...