Logotyp Curie - samtal om forskningens villkor
Man står med munskydd och skyddskläder i en industrilokal.

Inom läkemedelsindustrin misslyckas man ofta med att reproducera resultaten från universitetsforskningen. Foto: Gamma / IBL Bildbyrå

NYHET

Forskningen går inte att återupprepa

Nästan nio av tio människor litar på forskare i Sverige. Men forskning blir alltmer komplex och en stor del av alla studier som publiceras är omöjliga att återupprepa. Det gör att resultaten blir mindre tillförlitliga. Läs den andra av tre artiklar om vetenskaplig publicering.

Redan för några år sedan visade den grekiske forskaren John Ioannidis att många forskningsresultat är falska och sedan dess har det kommit fler tecken på att han har rätt.

Läkemedelsindustrin, som har blivit alltmer beroende av universitetsforskning i sin jakt på nya läkemedel, kan inte heller reproducera resultaten från ett stort antal universitetsstudier. Företaget Amgen gick bet i nästan 90 procent av försöken att reproducera 53 studier. I ett liknande försök av Bayer var det 75 procent av universitetsstudierna som inte kunde göras om på nytt.

Striktare regler

Och bara i ett av tre specifika fall kunde forskning som rapporterats från Karolinska Development återskapas. Detta enligt Hans Wigzell, professor och tidigare rektor vid Karolinska institutet, som nu vill införa striktare regler för forskningen på KI för att få mer sanna resultat.

– Fusk har mycket litet med detta att göra, jag gissar att det bara handlar om 0,1 procent av fallen som är fusk, säger han.

Istället är det andra faktorer som ligger bakom, både omedvetna och medvetna, och ofta har de med själva forskningssystemet att göra. Forskning blir mer och mer komplex, med allt fler variabler. Det gör att den sällan kan repeteras utanför ett särskilt sammanhang. Detta för också med sig att den statistiska analysen försvagas och slumpen får för stor betydelse.

– Forskare har för stark tilltro till p-värden som ligger på gränsen. Artiklar från Karolinska institutet borde bara få publiceras om de har ett p-värde på 0,01 eller mindre, säger Hans Wigzell.

Negativa data

Att negativa data inte blir publicerade är också en stor del av problemet, liksom bias och blindning.

– Blindning måste gälla hela labbet. I en av mina studier visade det sig att djurskötaren visste vilka djur som fått en injektion och hanterade dem mer varsamt än kontrollerna och detta påverkade resultaten. Vi måste börja hantera alla experiment som om de vore blindade kliniska studier.

Felaktiga kontroller eller brist på kontrollstudier, felaktig tolkning av data och icke-representativ användning av data driver också på utvecklingen mot resultat som inte är trovärdiga. Genom att spara alla data till en för universitetet central databas tror Hans Wigzell att en del av detta kan motverkas.

– Sloppy science är på gränsen till fusk. I en av de studier som Amgen kontrollerade visade det sig att det man kallade ett typiskt resultat bara gällde ett av sex fynd.

Press på att publicera

För stor press i karriären kan vara mycket skadlig för sökandet efter sanningen. Det handlar om konkurrens, status och pressen på att producera resultat och publicera.

– Vi har inte förändrat våra urvalskriterier på 30 år. Vi publicerar det vi tycker är intressant, säger Philip Campbell, chefredaktör på tidskriften Nature.

Men samtidigt har kulturen kring tidskrifterna och vetenskaplig publicering förändrats och detta kan ha effekter långt utanför forskningens sfär. En publikation ger inte bara status genom citeringar utan kan också leda till berömmelse och pengar, diskussioner i medier, del i tekniska tillämpningar, ordförandeposter, bonusar och politiska positioner, investeringar i företag och inte minst nya forskningsanslag. Nature räknar med att en vetenskaplig publikation i tidskriften kan vara värd en miljon euro i nya anslag.

– Det här ger en farlig press på människor och system.

Philip Campbell tycker att det borde krävas mer av medförfattaren än det gör idag och menar att medförfattare på andra labb än huvudförfattarens bör upprepa försöken hos sig.

Pågående process

Han pekar också på att peer review är en ständigt pågående process som inte alls upphör för att artikeln är publicerad. Forskare bör därför förbereda sig för fortsatt kritik. Det borde också finnas bättre möjligheter att publicera, identifiera och länka artiklar som replikerar eller vederlägger en ursprunglig studie.

– Det kommer att kräva mer av publicisterna och vi jobbar på det.

Redaktionen på Nature ser också över hur de presenterar författare i vetenskapliga publikationer.

– Det är bara inom biologi som forskare bråkar om turordningen i författarlistan. Vi fick nyss frågan om tre personer kan dela på platsen som andraförfattare.

De idag informella och ostrukturerade författarlistorna kan i framtiden bli välordnade listor med metadata och tabeller över vem som har bidragit med precis vad i en artikel.

Läs också i Curie:
Publicering som lockar till genvägar
Hemligheten bakom en bra artikel

Termer

P-värde: Signifikansnivån uttrycks som ett p-värde, där p står för probabilitet, dvs sannolikhet.

Bias, systematiskt fel: ett resultatfel som uppstått genom procedurfel, effektbedömningsfel eller annat mänskligt fel under en undersökning. Även fel som görs i bedömningen eller hanteringen av resultaten.

Blindning: maskering, åtgärder för att hemlighålla vissa centrala omständigheter i en undersökning tills den är avslutad och resultaten ska bearbetas. Viktigaste exemplet: i en blindad klinisk prövning är det okänt vilka deltagare som får den ena eller den andra av de prövade behandlingsformerna. En viktig upplysning är vilka av parterna som uppgifterna har hållits hemliga för: deltagare, försöksledare, prövningspersonal och/eller statistiker.

Källa: SBU, Statens beredning för medicinsk utvärdering

Du kanske också vill läsa

Debatt 11 december 2019

Gustav Nilsonne

Avtalet med Elsevier är en pyrrhusseger, skriver Gustav Nilsonne, Karolinska institutet. Tidskrifternas roll som förvaltare av ett prestigekapital som snedvrider forskningsprocesse...

Debatt 5 november 2019

Daniel Gunnarsson

Avhandlingar skrivna på svenska behövs för att nå en bredare målgrupp. Det menar Daniel Gunnarsson vid Högskolebiblioteket, Jönköping University. Han konstaterar att antalet avhand...

Debatt 2 december 2013

Jonas Björck

Vi måste fokusera på vår huvuduppgift och beakta hur open access påverkar vetenskaplig publicering. Därför ska vi nu ta fram en avvecklingsplan för vårt tidskriftsstöd, skriver Jon...