Retoriken i vetenskapliga artiklar kan avslöja fusk

”Att öppna Pandoras ask” är rubriken på Baraa Khuders artikel i tidskriften Accountability in Research. Asken hon öppnade var vetenskapliga artiklar som dragit tillbaka – och det hon fann i den var ett tydligt mönster. Fem retoriska signaler återkom i artiklarna om projekt där forskarna fuskat eller förvrängt sina resultat.

– Jag blev faktiskt chockad över att det vi fann inte hade upptäckts innan artiklarna publicerades. Det handlade ändå om tunga, välrenommerade tidskrifter. Men jag arbetar själv mycket som vetenskaplig granskare, och man får komma ihåg att de som gör det inte alltid sätter på sig ”detektiv-hatten” på samma sätt som vi gjorde i det här projektet, säger Baraa Khuder, som är universitetslektor vid Chalmers institution Vetenskapens kommunikation och lärande.

Jag blev faktiskt chockad över att det vi fann inte hade upptäckts innan artiklarna publicerades.

Antalet artiklar som dragits tillbaka har gått upp kraftigt på senare år. Bara under 2023 drogs 10 000 artiklar in över hela världen, och de hade hunnit citeras 35 000 gånger. Baraa Khuder möter allt fler doktorander som oroar sig för fusk och att luras av felaktiga artiklar. Om de i sin tur råkar citera en sådan, sänker det förstås deras eget arbete.

– De frågar sig om de ens kan lita på forskningen längre. Jag säger att det kan vi, men vi måste skydda den, och det finns strukturella problem som vi behöver göra något åt.

Fem tecken på fusk

Samtidigt som Baraa Khuder mötte studenternas oro hade hon själv börjat reflektera över att doktorandundervisningen ger så lite kunskaper om forskningsfusk och oredlighet. Hon såg en möjlighet att angripa frågan, i den doktorandkurs hon leder som handlar om att skriva för publicering.

– Om vi inte tränar doktorander att undvika fällorna i akademin blir de bara tvungna att lära sig om dem på egen hand. Därför beslöt jag att vi i undervisningen skulle studera artiklar som dragits tillbaka. Inte för att skapa misstro, utan för att förse eleverna med verktyg för att känna igen fel, säger Baraa Khuder.

Undervisningsgreppet gav också material till hennes egen forskning. Med hjälp av litteratur om granskning och kritisk läsning lotsade Baraa Khuder kursdeltagarna i hur de kunde analysera texterna på djupet. När hon sedan studerade deras fynd identifierade hon återkommande mönster som hon kallar ”retoriska tecken”. Ett första sådant tecken är att bakgrundslitteratur presenteras på ett vilseledande sätt.

– Redaktörer och granskare hoppar ofta fram till metoden för att undersöka om den ser bra ut. Men redan litteraturöversikten kan vara avslöjande. Författaren kan beskriva studier fel, eller hänvisa till artiklar som i själva verket går på tvärs mot de egna resultaten. Eller till artiklar som inte ens finns. Numera kan det bero på att skribenten använt AI.

Själv har jag börjat känna att jag först måste agera detektiv, därefter forskare. Så ska det ju inte vara.

Ett andra tecken är en oklar metodbeskrivning. En lång, detaljerad beskrivning kan se förtroendeingivande ut, men om den innehåller många ovidkommande detaljer och inte riktigt går att följa bör läsaren bli misstänksam. Metodbeskrivningen ska vara så klar att den gör det möjligt att upprepa studien.

Ett tredje tecken är inkonsekvens; olika delar av texten passar inte ihop, resultaten säger något som metoden inte kan visa, eller data beskrivs på ett sätt som inte stämmer med figurer eller tabeller. Ett fjärde tecken är överdrifter, formuleringar som får studien att låta viktig och framstående, eller får ett påstående att låta så självklart att det inte kan ifrågasättas.

Det femte tecknet är så kallad terminologisk förvrängning, när ord och begrepp används på ett felaktigt eller orimligt sätt.

– Exempelvis kan det stå ”manmade thinking” istället för ”AI” – ett begrepp som ingen använder, utan som bara tyder på att man aktivt velat ändra och byta ut ord. Det görs ofta av författare som vill dölja att texten är plagierad eller AI-genererad. Det här är ett väldigt oroväckande tecken på fusk, säger Baraa Khuder.

Hon betonar dock att de fem tecknen är just tecken på forskningsfusk, inte bevis. Ser man dem bör man gå vidare och göra en noggrannare undersökning.

Mer öppenhet behövs

Att antalet återkallade artiklar ökar måste inte nödvändigtvis vara ett tecken på att mängden forskningsfusk ökar, menar Baraa Khuder. Det kanske är en effekt av större vaksamheten och det är i så fall en bra sak, understryker hon. Men hon funderar mycket över faktorer i det akademiska systemet som hon anser driver fram fusk. Framför allt handlar det om pressen att publicera fort och mycket.

– Systemet belönar kvantitet snarare än kvalitet. Själv har jag börjat känna att jag först måste agera detektiv, därefter forskare. Så ska det ju inte vara. Det stora inflödet av artiklar gör dessutom att granskarna ständigt är för få, vi hinner inte arbeta tillräckligt noga. Vi måste utbilda våra forskarstuderande så att de blir bra granskare, men vi måste också bli bättre på att förstå varför forskare fuskar, säger Baraa Khuder.

Vi talar gärna om transparens, men i själva verket är processen där en artikel godkänns väldigt hemlig.

Hon är kritisk till hur akademin förhåller sig till frågan idag. Tillbakadragna artiklar beskrivs ofta som enskildheter. Hela skulden läggs på forskaren själv, medan akademin som helhet går vidare utan att lära något av det som hänt. Det behövs en större öppenhet menar hon, både om utmaningarna och hur själva granskningsprocessen ser ut.

– Vi talar gärna om transparens, men i själva verket är processen där en artikel godkänns väldigt hemlig. Man skickar sitt arbete till en redaktör, hör inget på lång tid, sedan går den till en hemlig granskare som skickar anonym respons...

Hon berättar om en studie som granskade kemiforskares publiceringar. Det visade sig att 20 procent av de granskade författarna hade infört felaktigheter i sina artiklar efter granskningen. Om granskaren frågade om forskarna hade gjort en viss undersökning var det frestande att säga ja för att bli godkänd, varpå de la in lite text i artikeln om en undersökning som de i verkligheten aldrig hade utfört.

– Man hinner inte gå tillbaka och göra om hela studien. Istället säger man det granskaren önskar, för att bli publicerad och kanske få den tjänst man väntar på. Om publiceringsprocessen blev mer öppen tror jag det skulle öka förtroendet för forskningen.

Man skulle exempelvis kunna offentliggöra granskarens namn och kommentarer, och även författarens svar, föreslår hon.

– För att undvika partiskhet kunde det göras efter publiceringen. Det skulle fortfarande medföra andra utmaningar, men inget system är perfekt och vi behöver verkligen förändring.

Frågor om vad som driver fusk

I sin vidare forskning vill hon gå mer på djupet med frågan om fuskets drivkrafter. Ett sätt skulle vara att intervjua personer vars artiklar har återkallats. Inte helt lätt, givet hennes olika yrkesroller. Man kan lätt föreställa sig att den som avslöjats som fuskare tvekar att prata om det med någon som arbetar som granskare och redaktör.

– Men jag har stor vana vid svåra intervjuer, och jag tror att det här kan bli möjligt. Det vore väldigt intressant.

Därför är det viktig för mig att tydliggöra när vi kan lita på forskning, och när vi inte kan det.

Hon vill undersöka hur fusk påverkas av nivån av akademisk frihet. Hennes hypotes är att begränsad frihet ökar risken för fusk och förvrängningar av både språket och resultaten.

Dessutom är hon intresserad av kopplingen till AI-användning, som är ett centralt tema även i hennes övriga forskning. Bland annat har hon finansiering från Vetenskapsrådet för att studera hur unga forskare använder AI i sin skrivprocess. Baraa Khuder konstaterar att den tekniska utvecklingen mycket väl skulle kunna leda till en förändrad definition av forskningsfusk och oredlighet. Den utvecklingen vill hon i så fall också studera.

Det talas mycket idag om att tilliten till vetenskapen minskar. Ser du en risk i att lyfta fram det fusk som förekommer?

– Nej. Det här är något som måste göras. Faktum är att jag upplevde att de doktorander som genomförde granskningen blev tryggare och fick mer tillit till forskningen, inte mindre. Vi får inte väja för detta.

Baraa Khuder är född i Syrien. För sina masterstudier flyttade hon till Storbritannien, men när inbördeskriget började flyttade hon tillbaka hem för att vara nära sin familj. Sina första artiklar publicerade hon som forskare vid universitetet i Aleppo samtidigt som kriget snabbt blev alltmer våldsamt. 2017 valde hon till sist att lämna landet. Hon disputerade i Storbritannien med en avhandling om hur syriska forskare i exil utvecklade sitt språk och arbetssätt för att kunna fortsätta med sin forskning.

– Jag såg våldet och vad människor gjorde för att överleva, både i Syrien och på flykt därifrån. Jag såg också hur betydelsefull forskningen var för dem. Därför är det viktig för mig att tydliggöra när vi kan lita på forskning, och när vi inte kan det. Opålitliga resultat kan göra verklig skada. I extrema fall, förstås – men man lär mycket av de extrema fallen.