Forskningen måste bli mer öppen för granskning, betonar Nicholas Holmes.

Han granskade sina artiklar och anmärkte på alla utom en

English 2021-09-29

Det började med en faktagranskande podd. Sedan följde en serie självkritiska tweetar – sporrade av ett hot. Neurologiforskaren Nicholas Holmes har gjort granskning och kritik till en synlig del av sitt arbete.

Nicholas Holmes

Till vardags forskar Nicholas Holmes på handrörelser och känsel vid Nottinghams universitet i Storbritannien. När landet försattes i lock-down under pandemin saknade han samtalen med kollegorna.

Han beslöt att försöka få i gång en diskussion på nätet om något han själv tyckte var viktigt: forskningens och vetenskapsjournalistikens kvalitet. Resultatet blev webbsidan och podden The Error Bar, som faktagranskar nyheter om neurologi.

– Jag ville prata om vetenskap och om misstag. Hur medier bevakar forskning har dessutom alltid intresserat mig.

Beslöt att förekomma granskaren

Podden hade en handfull uppskattande lyssnare, men betydligt mer uppmärksamhet fick Nicholas Holmes när han riktade blicken mot sitt eget arbete. I en serie tweetar våren 2021 granskade han kritiskt alla sina publicerade artiklar och valde något att anmärka på i var och en av dem. Eller noga räknat; i alla utom en. Den var han helt nöjd med.

– Det som gav mig idén var faktiskt att en annan forskare, som propagerar mycket för att göra vetenskapen mer öppen, drog i gång ett slags ”öppenhetsgranskning”.

Systematiskt undersöktes tidigare publiceringar – hur öppna de varit och hur bra forskaren var på att dela sina data. Artiklar kommenterades, poängsattes och en topplista började ta form. Det var inte så populärt, precis, konstaterar Nicholas Holmes.

– Själv började jag fundera på vad som skulle hända om någon granskade mig. Jag bestämde mig för att förekomma den processen genom att själv visa upp mina misstag.

Positiv respons på självkritik

Responsen blev mest uppmuntrande. ”Bästa bidraget till akademin jag sett.”, ”Kul, men lite läskigt!”, ”Heja! Vilken förebild”, var några av kommentarerna. Nicholas Holmes tror själv att det beror på att de som använder Twitter främst är yngre forskare, som är positiva till förändring.

Han fick också göra en del intervjuer och bjöds in att skriva en kolumn i tidningen Nature. Dessutom hörde han av en redaktion som publicerat några av hans vetenskapliga arbeten. Han ler lite.

– De hade sett tweetarna och tog kontakt för att fråga om jag ville göra några klargöranden angående det jag hade publicerat hos dem. Det var bra, tycker jag. Det kanske inte var optimalt att kontakta bara en eller två författare och be just dem göra så, men… ändå.

Mer fokus på vad som väljs ut för publicering

Nicholas Holmes har alltid haft en nyfiken och kritisk blick på världen. Han älskade tiden som doktorand, då han fick fokusera på en enda sak och ”analysera den till döds”. Men det var också under den perioden som han började inse att allt inte var så enkelt som det såg ut.

Vetenskapliga sanningar var inte alltid sanna, och data i de snygga experimenten var inte alltid stabila eller pålitliga. Alla resultat var inte ens publicerade.

– Vi kan ju inte publicera precis allt vi gör, vi måste vara lite selektiva av praktiska skäl. Men på senare år har det blivit mer fokus i forskarsamhället på vad vi faktiskt väljer att publicera, och hur vi kan granska processerna. Internet och sociala medier har gjort det möjligt för vem som vill att delta i diskussionen, och det tycker jag är strålande.

Fri och kontinuerlig kritik

Nicholas Holmes pratar om the open science movement, att allt fler är eniga om att forskningen måste bli mer öppen för granskning. Inte bara slutsatser utan också data och metoder behöver bli tillgängliga för fler människor.

Det är märkligt, påpekar han, att så mycket av det som publiceras fortfarande finns bakom betalväggar så att exempelvis studenter, eller forskare i fattigare länder, inte kan komma åt det.

– Det kommer ändra sig i framtiden. Det kommer så snabbt nya data, tankar och metoder så artikelförfattaren har inte längre sista ordet.

Men så har det väl alltid fungerat, att nya idéer och resultat kullkastar de gamla?

– Jovisst. Men om du vill kritisera något som skrivits, av dig eller av någon annan, så har det varit nödvändigt att formellt skicka in din kommentar till en tidning. Det tar tid, och de kan säga nej till publicering. Jag tycker att det istället borde vara möjligt att kontinuerligt kommentera på alla publicerade artiklar.

Olika drivkrafter genom karriären

I Nature-kolumnen skrev Nicholas Holmes att de som är mest självkritiska är universitetsstudenter. De är mycket mer kritiska än doktorander, och längre upp på karriärstegen blir det i stort sett bara värre.

Egentligen är det inte så konstigt, menar han. Många studenter tänker sig inte en framtid som forskare. De vill bara få bra betyg och det får man om man gör det läraren tycker är rätt, vilket ofta innefattar att vara brutalt ärlig om sina egna svagheter.

Någon som är mitt i karriären har däremot helt andra drivkrafter: Det som räknas är hur många artiklar man publicerar, vilket kräver spännande data. Då blir det frestande att ta genvägar och överdriva.

Nicholas Holmes beskriver en incitamentskultur som belönar positiva resultat snarare än ”den röriga sanningen och experiment som inte fungerar”.

Förregistrering belönar bra forskning

Men han tycker att utvecklingen går åt rätt håll.

– I dag finns det fler tidskrifter som tar in tvetydiga eller negativa resultat och som använder sig av förregistrering. Då antas din metod snarare än dina resultat för publicering. Det görs alltså en peer-review baserat på dina planer, inte på om resultaten är spännande. På så vis selekterar man för bra forskning – eftersom den handlar om processen.

Förregistrering (se faktaruta) minskar risken för att negativa resultat eller nollresultat förblir opublicerade och okända. Att studier som motbevisar forskarens egen hypotes, eller som misslyckas med att ge tydliga resultat, inte publiceras kan med tiden bli en belastning.

Det kan leda till att andra senare testar samma hypotes eller provar ett liknande försök, vilket förstås är slöseri med tid och pengar. Nicholas Holmes anser att alla resultat borde göras tillgängliga i någon form.

– Vi bör uppmuntra andra sätt att publicera än bara i den traditionella artikeln. Och vi måste börja belöna bra metoder, inte bra resultat.

Tidskrifterna måste kräva data

De gamla tankesätten håller på att ändra sig, nerifrån och upp, säger Nicholas Holmes och pekar på den nya tidskriften JOTE, Journal Of Trial and Error, grundad av en grupp doktorander.

Han ser också lovande initiativ från finansiärerna, som stora brittiska Wellcome Trust som stärkt öppenhetskraven, och från tidskrifterna själva. DORA, Declaration of Research Assessment, är en uppsättning riktlinjer formulerade av ledare för vetenskapstidskrifter. Målet är att utveckla bättre sätt att granska forskningsresultat.

– Jag tycker egentligen om tidskrifternas roll som grindvakter, att vetenskap granskas av folk som är kvalificerade på sitt fält. Men det är en ny tid. Man måste tillåta fler öppna kommentarer, och man måste kräva att forskarna tillgängliggör sina data.

Idag är det dock få tidskrifter som gör det, konstaterar han.

– Det kan ta flera år att publiceras, och när det väl sker och någon frågar efter data så ligger de gömda i en dator på den förra arbetsplatsen, eller hos en doktorand som har slutat. Så kan vi inte ha det.

Nicholas Holmes funderar lite.

– Jag vill passa på att säga att jag inte alls är negativ till forskning. Visst, jag har en massa åsikter om vad som är fel, men jag älskar ju att forska! Det är som att lösa gåtor, eller som att få ingå i ett fascinerande, gigantiskt spel. Det är bara det att jag tror att det kunde spelas bättre.

Text: Lisa Kirsebom
Foto: Mathias P.R. Reding/Unsplash

2 kommentarer

Tack för din kommentar. Den kan komma att modereras innan den publiceras.

  • Jonas Tegenfeldt

    Tvivel och självkritik är absolut centrala värden i akademin. Mycket bra inlägg!
    Det belyser också ett problem med populärvetenskap. För att förenkla budskapet förlorar man ofta den viktiga diskussionen om osäkerheter. Å andra sidan finns det exempel då tvivlet går till överdrift eller då osäkerheter överdrivs eller skapas utan vetenskaplig grund. Läs mer om det senare i exempelvis "Merchants of doubt" av Naomi Oreskes och Erik M. Conway.

    2021.09.30

  • Lars Hellström

    Jag känner inte igen beskrivningen av studenter som de mest självkritiska – snarast är det ett problem att dessa verkar ha uppfostrats i en anda av positivt tänkande, där det viktigaste är att saker ser bra ut vid en hastig blick, inte om det faktiskt är rätt. Seniora forskare kan väl också göra sig skyldiga till att inte framhålla det som ser negativt ut, men de är åtminstone medvetna om att deras arbeten kan komma att granskas och ifrågasättas, så de avstår åtminstone från att dra slutsatser som inte håller.

    Men kanske skiljer sig förhållandena mellan olika vetenskaper.

    2021.10.01

Ta del av information om behandlingen av dina personuppgifter