Det gäller att ta hänsyn till alla faktorer för att få säkra resultat som går att upprepa av andra forskargrupper. Men forskare kan bara kontrollera faktorer som man känner till. Till för några år sedan var det okänt att möss i olika laboratorer ofta har labspecifik tarmflora som påverkar studieresultatet.

Perfekt forskning är en myt

2015-04-27

För tio år sedan publicerade han artikeln ”Why most published research findings are false”. Idag ger många studier honom rätt. John Ioannidis, professor i medicin, epidemiologi och statistik vid Stanford, berättar i Curie vad han tror behöver förändras.

Sedan John Ioannidis artikel publicerades har många studier visat på omfattande problem att upprepa publicerade vetenskapliga resultat. Mest känd är kanske Amgens studie från 2013 där nästan 90 procent av 53 prekliniska cancerstudiers resultat inte gick att upprepa, men problemet är inte begränsat till biomedicin utan gäller samtliga forskningsfält med komplexa frågeställningar och mycket data.

Steg mot säkrare resultat

Ioannidis inskärper att han tror på vetenskapen och vetenskapssamhället. Många vill åtgärda problemet med minskad reproducerbarhet.

–Det görs mycket bra forskning och det finns flera förslag på hur man ska förändra situationen.

Exempel på insatser är att vetenskapliga tidskrifter har ökat sina publiceringskrav, att kliniska prövningar numer oftare förregistreras och att organisationen reproducibility initiative fått resurser för att validera ytterligare prekliniska cancerstudier.

Ioannidis har också sett förbättringar när det gäller forskning på försöksdjur och inom forskningsfält som psykologi.

Men han tycker ändå att det inte görs tillräckligt för att höja nivån. Framförallt saknar han belöningssystem för kritisk granskning. Det är svårt att få pengar till studier som försöker upprepa det som gjorts tidigare och svårt att publicera negativa resultat, det vill säga när studien visade att hypotesen var fel.

– Många tycker han klagar för mycket, men jag tycker Ioannidis sätter fingret på viktiga frågor, säger Hans Wigzell, professor i immunologi och tidigare rektor vid Karolinska institutet, som tidigare i Curie kommenterat utvecklingen.

– Det är ett allvarligt problem när resultat inte går att upprepa. Sjukvården är beroende av att studier går att lita på. Läkemedelsföretagen Amgens och Boehringer Ingelheims fas 2-studier av läkemedelskandidater gick åt skogen. Det var anledningen till att de satsade hundra miljoner på att försöka upprepa studierna som tagit fram kandidaterna.

Granskare som författare

De som granskar vetenskapliga manuskript genom peer-review får inte heller någon belöning för att de gjort det noga och bidragit till att förbättra artikelns kvalitet före publicering. John Ioannidis anser att den som gör en ordentlig peer-review borde belönas med sitt namn i en bilaga till artikeln eller i vissa fall, när bidraget är lika viktigt som artikelförfattarnas, till och med stå med på artikeln på samma sätt som ursprungliga författare.

Post-publication review finns det inte heller något belöningssystem för. Till exempel ledde möjligheten att kommentera på artiklar i PubMed inte till den noggranna peer-review  som man hoppats på, berättar Ioannidis, utan oftast bara till korta innehållslösa kommentarer. Den som kommentarer belönas inte för en noggrann granskning.

Att upprepa studien borde vara en del av artikeln, i alla fall när det är billigt att göra, menar John Ioannidis. Till exempel som när man identifierar gener associerade med sjukdomar.

Varje studie är förstås inte möjlig att upprepa, särskilt när den involverat människor. Däremot ska det alltid vara teoretiskt möjligt att omanalysera data genom att hela underlaget visas: alla data, protokoll, algoritmer och analysmetoder.

– Metoddelen i artikeln ska inte vara utrymmesbegränsad.

Till det behövs resurser som databaser och det är en öppen fråga hur mycket som är realistiskt att begära.

Många kan inte metoden

Ett annat problem är metodfel. John Ioannidis påpekar att många som börjar forska har god utbildning i sitt ämne, men inte i hur de mätmetoder man använder fungerar.

Ofta har forskare också otillräcklig kunskap om statistik och är inte medvetna om hur man omedvetet kan påverka och tolka sitt uppmätta resultat om det inte är tillräckligt blindat. I faktarutan sammanfattas Ioannidis argumentation i artikeln från 2005.

Det blir också allt viktigare att kunna analysera stora datamängder.

– För tjugo år sedan kunde man göra beräkningar inom epidemiologi på baksidan av ett kuvert. Nu är det ofta komplexa algoritmer.

Men även när man kontrollerar för det man vet, är det omöjligt att kontrollera för det man inte känner till.

– Vi känner faktiskt inte till allt om kroppen och hur olika sjukdomar uppstår. Och för några år sen var det okänt att möss i olika laboratorer ofta har labspecifik tarmflora som påverkar studieresultat, säger Hans Wigzell.

Forska i nätverk

John Ioannidis förslag är att forskare i högre grad ska samarbeta i stora nätverk. Isolerade forskargrupper är viktiga för kreativa idéer och för att bryta ny mark.

– Men efter att man skapat en bild av idén behöver du validera resultatet i stora samarbeten, säger han.

Ett exempel på det är högenergifysik. Där samarbetar tiotusentals forskare för att identifiera nya elementarpartiklar.

– Om de delades upp i tusentals grupper skulle det publiceras tusentals artiklar, men ingen verklig partikel skulle ha hittats. Kanske skulle många forskare genom suboptimal analys påstå sig ha upptäckt partiklar som egentligen inte finns.

Det går inte att komma ifrån att forskning per definition handlar om att göra misstag och försöka hitta en bättre metod, säger Ioannidis. Det går inte att vara perfekt.

– Det finns en myt om hur forskning går till, som i berättelsen om Newtons äpple, men framstående vetenskap handlar om hårt arbete för att förbättra metoder.

Text: Anja Castensson

3 kommentarer

Tack för din kommentar. Den kan komma att modereras innan den publiceras.

  • Zita Tersman

    Trial and error, reproducerbart - Inget nytt, vanlig vetenskapsteori. Alltså, har tiden stått stilla sedan -85, -90? Då uppmärksammades vikt av peer review och att studier ska kunna reproduceras inom medicin och psykologi. Tyvärr har, sedan 2000-talet, åtminstone i Sverige, har ett nationellt paradigmskifte skett. Många sk rapporter och registerstudier publiceras som utförts utan kunskap/handledning i design och metod, med risk för inbyggda fel, i synnerhet journalstudier; framställts som fakta. Korrelationsstudier med resultat som beskrivs som kausala, enkäter el frågeformulär som inte är faktoranalyserade. Man går gärna till dagspressen redan när en studie planeras i grövsta fallen, eller innan studien stängt. Häromdagen inträffade det: Pressrelease där nästan allt saknades om barnfetma och skolresultat, registerstudie. Vad beror det på? Brådskan sedan Thams 4-årsreform. Övrig politisk styrning - mot snabba okomplicerade studier och resultat? Examinator, samt tidigare peer reviewer i internationell vetenskaplig tidskrift.

    2015.04.29

  • Gunnar Björk

    Huruvida majoriteten av kliniska forskningsresultat är felaktiga eller ej har jag ingen kompetens att bedöma. Inom mitt fält, kvantelektronik, skulle jag hävda att det rakt motsatta förhållandet råder -- praktiskt alla resultat är korrekta och kan upprepas. De resultat som är viktigast för kunskapsuppbyggnaden och för tillämpningar upprepas också, och praktiskt taget utan undantag med samma resultat som för de första forskarna som rapporterade om fenomenet/upptäckten. Naturligtvis gör även forskare fel ibland, det har även jag gjort. I mitt fält är det ofta den felande forskaren själv som först hittar felet och då går ut med en rättelse, eller i allvarligare fall genom att man begär att de publicerade resultaten "återkallas". I andra fall är det "konkurrerande" forskargrupper som påtalar felet/felen. I mitt fält är vetenskapen således i mycket hög grad "självrättande" just som modellen för vetenskap förutsäger. Jag inbillar mig att den mesta forskningen inom de "hårda" vetenskaperna fungerar på samma föredömliga sätt som inom min specialitet. Jag finner därför både Ioannidis och Curies titlar missvisande, för visserligen är det korrekt att vetenskap eller forskare inte är perfekta och ofelbara, men inom många (de flesta?) discipliner fungerar det vetenskapliga metoden utmärkt. Jag ser få, om något, kunskapsbyggande system som fungerar bättre.

    2015.04.29

  • Elis Carlström

    Inom material och energiforskning finns liknande problem. Forskare som sysslar med termoelektriska material, bränsleceller, solceller eller batterier slår ofta rekord genom att rapportera högre verkningsgrad eller högre lagringskapacitet med hjälp av nya material. Ofta är tyvärr beskrivningen av hur man tagit fram material eller komponenter så bristfällig att det inte går att upprepa försöken exakt. Den som försöker att upprepa får ofta sämre resultat och kan inte veta om det beror på att man inte gjort på exakt samma sätt eller resultaten är överdrivna. Vi som forskar kring att skapa industriella processer med de här materialen har stora problem. Om det finns brister i experimentell dokumentation eller om man överdrivit resultaten så avslöjar detta sig obarmhärtigt när man vill använda resultaten i praktiken. De här urholkar på sikt förtroendet för forskningen.

    2015.04.29