Logotyp Curie - samtal om forskningens villkor
Mus springer på forskares arm

Det gäller att ta hänsyn till alla faktorer för att få säkra resultat som går att upprepa av andra forskargrupper. Men forskare kan bara kontrollera faktorer som man känner till. Till för några år sedan var det okänt att möss i olika laboratorer ofta har labspecifik tarmflora som påverkar studieresultatet.

NYHET

Perfekt forskning är en myt

För tio år sedan publicerade han artikeln ”Why most published research findings are false”. Idag ger många studier honom rätt. John Ioannidis, professor i medicin, epidemiologi och statistik vid Stanford university, berättar i Curie vad han tror behöver förändras.

Sedan John Ioannidis artikel publicerades har många studier visat på omfattande problem att upprepa publicerade vetenskapliga resultat. Mest känd är kanske Amgens studie från 2013 där nästan 90 procent av 53 prekliniska cancerstudiers resultat inte gick att upprepa, men problemet är inte begränsat till biomedicin utan gäller samtliga forskningsfält med komplexa frågeställningar och mycket data.

Steg mot säkrare resultat

Ioannidis inskärper att han tror på vetenskapen och vetenskapssamhället. Många vill åtgärda problemet med minskad reproducerbarhet.

– Det görs mycket bra forskning och det finns flera förslag på hur man ska förändra situationen.

Exempel på insatser är att vetenskapliga tidskrifter har ökat sina publiceringskrav, att kliniska prövningar numer oftare förregistreras och att organisationen reproducibility initiative fått resurser för att validera ytterligare prekliniska cancerstudier.

Ioannidis har också sett förbättringar när det gäller forskning på försöksdjur och inom forskningsfält som psykologi.

Men han tycker ändå att det inte görs tillräckligt för att höja nivån. Framförallt saknar han belöningssystem för kritisk granskning. Det är svårt att få pengar till studier som försöker upprepa det som gjorts tidigare och svårt att publicera negativa resultat, det vill säga när studien visade att hypotesen var fel.

– Många tycker han klagar för mycket, men jag tycker Ioannidis sätter fingret på viktiga frågor, säger Hans Wigzell, professor i immunologi och tidigare rektor vid Karolinska institutet, som tidigare i Curie kommenterat utvecklingen.

– Det är ett allvarligt problem när resultat inte går att upprepa. Sjukvården är beroende av att studier går att lita på. Läkemedelsföretagen Amgens och Boehringer Ingelheims fas 2-studier av läkemedelskandidater gick åt skogen. Det var anledningen till att de satsade hundra miljoner på att försöka upprepa studierna som tagit fram kandidaterna.

Granskare som författare

De som granskar vetenskapliga manuskript genom peer-review får inte heller någon belöning för att de gjort det noga och bidragit till att förbättra artikelns kvalitet före publicering. John Ioannidis anser att den som gör en ordentlig peer-review borde belönas med sitt namn i en bilaga till artikeln eller i vissa fall, när bidraget är lika viktigt som artikelförfattarnas, till och med stå med på artikeln på samma sätt som ursprungliga författare.

Post-publication review finns det inte heller något belöningssystem för. Till exempel ledde möjligheten att kommentera på artiklar i PubMed inte till den noggranna peer-review som man hoppats på, berättar Ioannidis, utan oftast bara till korta innehållslösa kommentarer. Den som kommentarer belönas inte för en noggrann granskning.

Att upprepa studien borde vara en del av artikeln, i alla fall när det är billigt att göra, menar John Ioannidis. Till exempel som när man identifierar gener associerade med sjukdomar.

Varje studie är förstås inte möjlig att upprepa, särskilt när den involverat människor. Däremot ska det alltid vara teoretiskt möjligt att omanalysera data genom att hela underlaget visas: alla data, protokoll, algoritmer och analysmetoder.

– Metoddelen i artikeln ska inte vara utrymmesbegränsad.

Till det behövs resurser som databaser och det är en öppen fråga hur mycket som är realistiskt att begära.

Många kan inte metoden

Ett annat problem är metodfel. John Ioannidis påpekar att många som börjar forska har god utbildning i sitt ämne, men inte i hur de mätmetoder man använder fungerar.

Ofta har forskare också otillräcklig kunskap om statistik och är inte medvetna om hur man omedvetet kan påverka och tolka sitt uppmätta resultat om det inte är tillräckligt blindat. I faktarutan sammanfattas Ioannidis argumentation i artikeln från 2005.

Det blir också allt viktigare att kunna analysera stora datamängder.

– För tjugo år sedan kunde man göra beräkningar inom epidemiologi på baksidan av ett kuvert. Nu är det ofta komplexa algoritmer.

Men även när man kontrollerar för det man vet, är det omöjligt att kontrollera för det man inte känner till.

– Vi känner faktiskt inte till allt om kroppen och hur olika sjukdomar uppstår. Och för några år sen var det okänt att möss i olika laboratorer ofta har labspecifik tarmflora som påverkar studieresultat, säger Hans Wigzell.

Forska i nätverk

John Ioannidis förslag är att forskare i högre grad ska samarbeta i stora nätverk. Isolerade forskargrupper är viktiga för kreativa idéer och för att bryta ny mark.

– Men efter att man skapat en bild av idén behöver du validera resultatet i stora samarbeten, säger han.

Ett exempel på det är högenergifysik. Där samarbetar tiotusentals forskare för att identifiera nya elementarpartiklar.

– Om de delades upp i tusentals grupper skulle det publiceras tusentals artiklar, men ingen verklig partikel skulle ha hittats. Kanske skulle många forskare genom suboptimal analys påstå sig ha upptäckt partiklar som egentligen inte finns.

Det går inte att komma ifrån att forskning per definition handlar om att göra misstag och försöka hitta en bättre metod, säger Ioannidis. Det går inte att vara perfekt.

– Det finns en myt om hur forskning går till, som i berättelsen om Newtons äpple, men framstående vetenskap handlar om hårt arbete för att förbättra metoder.

Organisationen Reproducibility initiative (English) Länk till annan webbplats.

National ibrary of Medicine, PubMed (nih.gov) (English) Länk till annan webbplats.

riskfaktorer för dålig forskning

  1. Små studier.
  2. Liten effektstorlek, det vill säga när man letar efter en liten effekt bland andra effekter, som till exempel en gen för en egenskap som påverkas av många gener och miljöfaktorer.
  3. Test av många orsakssamband samtidigt, som vid microarrays.
  4. Flexibilitet i studiedesign, i definitioner och i analys av data.
  5. Psykologiska bias, som fördomar eller stark vilja att tro på sin hypotes. Det ökar risken för att tolka resultatet som önskat, om studien inte är helt blindad.
  6. Hett forskningsfält. Detta eftersom det innebär att många isolerade forskargrupper ser på samma fråga (parallell med punkt 3). När det dessutom finns ett sug efter nya överraskande fynd är dessa per definition mer osannolika.

Ordförklaringar

P-värde: Signifikansnivån uttrycks som ett p-värde, där p står för probabilitet, dvs sannolikhet.

Bias, systematiskt fel: ett resultatfel som uppstått genom procedurfel, effektbedömningsfel eller annat mänskligt fel under en undersökning. Även fel som görs i bedömningen eller hanteringen av resultaten.

Blindning: maskering, åtgärder för att hemlighålla vissa centrala omständigheter i en undersökning tills den är avslutad och resultaten ska bearbetas. Viktigaste exemplet: i en blindad klinisk prövning är det okänt vilka deltagare som får den ena eller den andra av de prövade behandlingsformerna. En viktig upplysning är vilka av parterna som uppgifterna har hållits hemliga för: deltagare, försöksledare, prövningspersonal och/eller statistiker.

Källa: SBU, Statens beredning för medicinsk utvärdering

Relaterat innehåll

Krönika 30 januari 2024

Nu är de nationella riktlinjerna för öppen vetenskap klara. Erik Stattin skriver om arbetet med regeringsuppdraget och hur riktlinjerna tagits emot.

Krönika 17 januari 2024

Hur kan man föreställa sig hur något kommer att se ut i framtiden? Annie Lindmark skriver om metoden spekulativ design.

Nyhet 28 november 2023

Siv Engelmark

Nu ska de avtal som reglerar svenska forskares publiceringar i vetenskapliga tidskrifter omförhandlas. En färsk rapport från SUHF ska ge underlag för arbetet. Målet är att publicer...