Forskningen går inte att återupprepa

Redan för några år sedan visade den grekiske forskaren John Ioannidis att många forskningsresultat är falska och sedan dess har det kommit fler tecken på att han har rätt.

Läkemedelsindustrin, som har blivit alltmer beroende av universitetsforskning i sin jakt på nya läkemedel, kan inte heller reproducera resultaten från ett stort antal universitetsstudier. Företaget Amgen gick bet i nästan 90 procent av försöken att reproducera 53 studier. I ett liknande försök av Bayer var det 75 procent av universitetsstudierna som inte kunde göras om på nytt.

Striktare regler

Och bara i ett av tre specifika fall kunde forskning som rapporterats från Karolinska Development återskapas. Detta enligt Hans Wigzell, professor och tidigare rektor vid Karolinska institutet, som nu vill införa striktare regler för forskningen på KI för att få mer sanna resultat.

– Fusk har mycket litet med detta att göra, jag gissar att det bara handlar om 0,1 procent av fallen som är fusk, säger han.

Istället är det andra faktorer som ligger bakom, både omedvetna och medvetna, och ofta har de med själva forskningssystemet att göra. Forskning blir mer och mer komplex, med allt fler variabler. Det gör att den sällan kan repeteras utanför ett särskilt sammanhang. Detta för också med sig att den statistiska analysen försvagas och slumpen får för stor betydelse.

– Forskare har för stark tilltro till p-värden som ligger på gränsen. Artiklar från Karolinska institutet borde bara få publiceras om de har ett p-värde på 0,01 eller mindre, säger Hans Wigzell.

Negativa data

Att negativa data inte blir publicerade är också en stor del av problemet, liksom bias och blindning.

– Blindning måste gälla hela labbet. I en av mina studier visade det sig att djurskötaren visste vilka djur som fått en injektion och hanterade dem mer varsamt än kontrollerna och detta påverkade resultaten. Vi måste börja hantera alla experiment som om de vore blindade kliniska studier.

Felaktiga kontroller eller brist på kontrollstudier, felaktig tolkning av data och icke-representativ användning av data driver också på utvecklingen mot resultat som inte är trovärdiga. Genom att spara alla data till en för universitetet central databas tror Hans Wigzell att en del av detta kan motverkas.

– Sloppy science är på gränsen till fusk. I en av de studier som Amgen kontrollerade visade det sig att det man kallade ett typiskt resultat bara gällde ett av sex fynd.

Press på att publicera

För stor press i karriären kan vara mycket skadlig för sökandet efter sanningen. Det handlar om konkurrens, status och pressen på att producera resultat och publicera.

– Vi har inte förändrat våra urvalskriterier på 30 år. Vi publicerar det vi tycker är intressant, säger Philip Campbell, chefredaktör på tidskriften Nature.

Men samtidigt har kulturen kring tidskrifterna och vetenskaplig publicering förändrats och detta kan ha effekter långt utanför forskningens sfär. En publikation ger inte bara status genom citeringar utan kan också leda till berömmelse och pengar, diskussioner i medier, del i tekniska tillämpningar, ordförandeposter, bonusar och politiska positioner, investeringar i företag och inte minst nya forskningsanslag. Nature räknar med att en vetenskaplig publikation i tidskriften kan vara värd en miljon euro i nya anslag.

– Det här ger en farlig press på människor och system.

Philip Campbell tycker att det borde krävas mer av medförfattaren än det gör idag och menar att medförfattare på andra labb än huvudförfattarens bör upprepa försöken hos sig.

Pågående process

Han pekar också på att peer review är en ständigt pågående process som inte alls upphör för att artikeln är publicerad. Forskare bör därför förbereda sig för fortsatt kritik. Det borde också finnas bättre möjligheter att publicera, identifiera och länka artiklar som replikerar eller vederlägger en ursprunglig studie.

– Det kommer att kräva mer av publicisterna och vi jobbar på det.

Redaktionen på Nature ser också över hur de presenterar författare i vetenskapliga publikationer.

– Det är bara inom biologi som forskare bråkar om turordningen i författarlistan. Vi fick nyss frågan om tre personer kan dela på platsen som andraförfattare.

De idag informella och ostrukturerade författarlistorna kan i framtiden bli välordnade listor med metadata och tabeller över vem som har bidragit med precis vad i en artikel.

Läs också i Curie:
Publicering som lockar till genvägar
Hemligheten bakom en bra artikel