Ranking överskattad vid publicering idag

Den vetenskapliga publiceringen utformades för forskarsamhället på 1950-talet. Inte efter hur det ser ut idag. Det framhåller Catriona MaCallum, open access-förespråkare på Public Library of Science, PLOS, och redaktör på den vetenskapliga tidskriften PLOS One.

– Idag är forskarsamhället globalt, forskningen bygger ofta på stora samarbeten och mycket information finns på nätet. Verktygen är väldigt annorlunda och vi har numer tillgång till stora databaser.

Det publiceras alltfler vetenskapliga artiklar. Men mycket tyder på att kvalitén ofta kommer i kläm.

Dagens system dras med flera problem som ser ut att öka i omfattning: Det är svårt att upprepa publicerade resultat, andelen artiklar som dras tillbaka ökar och det finns brister i granskningssystemet. Dessutom är det svårare att få negativa och mindre spännande resultat publicerade, jämfört med nya upptäckter och resultat med signifikanta p-värden.

Jakten på impaktfaktorer

Sedan 1964 rankas vetenskapliga tidskrifter enligt så kallade impaktfaktorer i Science Citation Index (SCI), vilken sedan 1991 ägs av företaget Thomson Reuters. Impaktfaktorn baseras på hur ofta tidskriften citeras och har fått stort inflytande över hur man värderar vetenskapliga artiklar.

Den används också när vetenskapliga tidskrifter marknadsför sig själva, berättar Catriona MaCallum. Idag anses ofta en publicering i en tidskrift med hög impaktfaktor, som Science eller Nature, vara det ultimata målet för en forskare. Men det har inte alltid varit så.

Bruce Alberts har en lång karriär bakom sig som biokemist och läroboksförfattare, bland annat av standardverket The Cell. När han började som forskare var det inte lika viktigt att publicera sig i högrankade tidskrifter.
– Folk brydde sig inte om Science eller Nature som idag. Du upptäckte något och andra byggde vidare på det. Jag renade protein och de flesta mina publikationer var i Journal of Biological chemistry.

Han menar att förändringen kom gradvis efter 1990-talet och beror på dem som fördelar medel och tjänster till forskare.

– När de är för lata för att utvärdera själva arbetet tittar de istället på vilken impaktfaktor som tidskriften, där artikeln publicerats, har.

Han pekar på att högrankade och breda tidskrifter som Science vill ha artiklar som är spännande och avslöjar en större upptäckt. Men om man pressas att alltid göra nya upptäckter blir risken stor att forskningsresultaten inte går att upprepa, menar han.

– Folk fokuserar på fel sak. Biologiska system är komplexa.

Ofullständig metodbeskrivning

Utöver jakten på impaktfaktorer ser Bruce Alberts det som ett problem att man ofta inte är tillräckligt detaljerad när man beskriver hur forskningen utförts.

– I hälften av fallen kan du inte räkna ut hur det är gjort, metodavsnittet ska vara som en kokbok.

Traditionen med snåla metodbeskrivningar började med att det var kostsamt att trycka långa texter i papperstidningen, enligt Bruce Alberts. Att problemet kvarstår menar han beror på en överdriven rädsla för att bli anklagad för plagiat.

På redaktionerna finns datorprogram som går igenom artiklar som skickas in och känner igen det som redan publicerats. Det gör folk rädda att lägga upp metodbeskrivningar som av naturliga skäl ofta är identiska i olika artiklar.

– Tidskrifter bör klargöra att det är okej med detaljerade och långa metodbeskrivningar, inskärper han. Fullständiga metodskrivningar bör vara ett krav.

Open access – publicering på nätet

Med internet kom open access, att publicera på nätet utan betalväggar för alla som vill läsa. Det gör forskningsresultat mer tillgängliga, men kräver nya finansieringsmodeller.

En modell är att de som skrivit artikeln betalar open access-tidskriften, ett annat sätt är att artikeln får läggas utan avgift på en server som finansieras av en stiftelse eller högskola. Ett exempel på den sistnämnda modellen är databasen Arxiv (som tas upp i Curies nästa artikel om vetenskaplig publicering).

Catriona MacCallum är knuten som rådgivande redaktör till PLOS One, en populär open access-tidskrift där författaren får betala för publicering, utom i vissa fall där man får dispens. Ofta betalar forskarens anslagsgivare avgiften.

Hon betonar att publiceringsformen har lika höga krav på peer review som traditionella tidskrifter finansierade via prenumerationsavgifter.

– Peer-review är grundläggande.

PLOS One tar emot 30 000 artikelmanus per år, och publicerar även studier där hypotesen inte kunde bekräftas, så kallade negativa studier, liksom replikationsstudier.

Kolleger granskar

Peer-review, referentgranskning, när forskare i samma fält granskar artikeln, är en grundpelare för att bibehålla kvalitén på vetenskaplig publicering. Samtidigt sviktar modellen nar det gäller att granska stora forskningsprojekt, menar Catriona MacCallum.

– Det handlar ofta om stora mängder data. Kan verkligen en redaktör och två granskare täcka det?

Det finns också andra problem med peer-review. Ofta föreslår författaren själv forskare som kan granska. Tidigare kunde han eller hon dessutom skicka med e-postadresserna. Det ledde till att vissa forskare låtsades vara sin egen granskare med hjälp av en falsk e-postadress.

Catriona MacCallum tror inte det är vanligt men pekar på att det finns en högre press i vissa länder och vissa forskargrupper på att publicera, och därför också på att ta genvägar.

Bruce Alberts pekar på ett annat problem, att etablerade forskare ofta lägger över granskningen på sina postdoktorer.

– Det är inte bra för tidskriften. Postdoktorer har fel incitament, de vill imponera på gruppchefen, vill hitta så många svagheter som möjligt i ett manus.

Han tycker att peer review-granskningar blev bättre när tidskrifter lät granskare se varandras granskning, och kommentera den, om än anonymt.

Lista sina viktigaste artiklar

För framtiden hoppas Bruce Alberts att lärosäten inte låter antalet artiklar i högrankade tidskrifter avgöra rekryteringen. Han rekommenderar att universitet ber sina sökande lista sina fem viktigaste artiklar och kort berätta vad de handlar om.

– I en del annonser för akademiska tjänster anges nu tydligt att man inte kommer att titta på impaktfaktorer utan på artiklarnas innehåll.

Läs också i Curie:
En annan väg för att utbyta resultat
Forum för kritik av publicerade artiklar