Replik: AI vid granskning kan sätta stopp för nytänkande forskning

Samtliga skribenter i den här debatten verkar vara överens om att AI borde tillåtas vid granskning av forskningsansökningar, förutsatt att användningen bygger på genomtänkta regler. Som så ofta när ”AI” debatteras framgår det dock inte alltid vad som menas. Här antar jag att skribenterna syftar på generativ AI och stora språkmodeller (LLM:s).

Magnus Ingelman-Sundberg hävdar i sitt inlägg att de svenska forskningsråden infört ett totalförbud mot AI vid granskningen av ansökningar. I dagsläget finns dock inget totalförbud mot generativt AI i granskningsprocessen. De flesta svenska finansiärer tillåter idag att granskarna använder LLM:s för att redigera och omformulera sina texter.

Det som faktiskt är förbjudet är att granska ansökningar med AI, det vill säga att läsa, förstå, sammanfatta, kontextualisera, utvärdera eller bedöma ansökningar. Genom att avfärda detta eller andra förbud av AI som "kulturell skepsis" eller påstå att förbudet bara "signalerar handlingskraft” riskerar man att förbise problemet.

Därför har de begränsad förmåga att hantera nya idéer.

Tittar vi närmare på frågan om AI i granskningsprocessen så finns det andra betydande risker att ta hänsyn till, utöver behovet av dataskydd, som Ingelman-Sundberg menar är begränsat när det gäller forskningsansökningar. Centrala rättigheter och värden, såsom forsknings- och yttrandefrihet samt principen om icke-diskriminering, kan sannolikt påverkas. Stora språkmodeller tränas genom att analysera, återskapa och förstärka befintliga mönster. Därför har de begränsad förmåga att hantera nya idéer. Det får allvarliga konsekvenser när LLM:s används i granskningsprocessen.

Mönster som inte överensstämmer med större samhälleliga diskurser förekommer sällan eller aldrig i AI-genererade texter (1,2) och det avspeglas även i sammanfattningar skapade med AI. En granskningsprocess med AI riskerar därmed att förbise ansökningar som identifierar nya problem, utvecklar nya metoder, för kritiska resonemang eller skapar nya tvärvetenskapliga sammanhang.

Det finns också risk för diskriminering eftersom socioekonomisk, språklig eller kulturell bakgrund avspeglas i språkbruk. En språkmodell kan ta fasta på detta utan att det framgår i den text eller bedömning den levererar.

Att använda AI även för granskning skjuter bara problemet framför oss.

Det finns en rad ytterligare problem: Som att LLM träningsdata innehåller antivetenskapliga och politiska texter som kan påverka såväl sammanfattningar som ny text. Eller att LLM-företag har ingått partnerskap med enskilda akademiska förlag för att få exklusiv tillgång till deras publikationer. Sådana avtal mellan enskilda förlag och företag innebär samtidigt att ingen språkmodell får tillgång till den samlade kunskapen på området. Dessutom visar ny forskning att så kallade hallucinationer är oundvikliga i stora språkmodeller när de inte har tillgång till fakta (3).

Självklart kan det inte uteslutas att mänskliga granskare också diskriminerar personer eller förbiser forskning på grund av fördomar eller bristande förståelse. Men när enskilda granskare gör sig skyldiga till diskriminering är den inte systematisk (som hos en språkmodell) och forskningsfinansiären kan försöka göra dem medvetna om risken för bias. LLM:s kan bara producera text som skapar en illusion om reflektion om medvetenhet.

Om vi inte tydligt kan utesluta att forskningen som finansieras i framtiden formas av en särskild teknik som baseras på etablerade mönster, rådande samhällsdiskussioner och till och med felaktig information, så ska den tekniken inte få plats i granskningsprocessen.

Forskningsfinansiering må vara en långsam process, men en teknik som förvärrar ett redan systemkritiskt problem kan inte lösa problemet.

Det finns andra, ännu starkare argument mot användning av AI vid granskning. Alla tidigare inlägg verkar överens om att ett av de största problemen med forskningsfinansieringssystemet är dess ineffektivitet: att det tar för lång tid. Om vi bara blir snabbare på att granska ansökningar är problemet löst. Samtidigt hyllas samma AI som en räddare i nöden för forskare, ett verktyg som ska hjälpa oss att öka produktiviteten – det vill säga kasta ur sig fler ansökningar och publikationer. Att använda AI även för granskning skjuter bara problemet framför oss.

Forskningsfinansiering må vara en långsam process, men en teknik som förvärrar ett redan systemkritiskt problem kan inte lösa problemet. För att alla ska kunna lägga mer tid på forskning och mindre tid på att skriva och granska ansökningar krävs istället ett förändrat forskningsfinansieringssystem, som Arne Flåøyen också skriver. En sådan systemförändring är jobbig, men bättre för alla.

Malte Rödl, docent i miljökommunikation, Sveriges Lantbruksuniversitet

(1) Sommer, B., & von Querfurth, S. (2024). “In the end, the story of climate change was one of hope and redemption”: ChatGPT’s narrative on global warming. Ambio, 53(7), 951-959 Länk till annan webbplats..

(2) Van Der Ven, H., Corry, D., Elnur, R., Provost, V. J., Syukron, M., & Tappauf, N. (2024). Does artificial intelligence bias perceptions of environmental challenges?. Environmental Research Letters, 20(1), 014009 Länk till annan webbplats..

(3) Kalai, A. T., Nachum, O., Vempala, S. S., & Zhang, E. (2025). Why language models hallucinate. Länk till annan webbplats.arXiv preprint Länk till annan webbplats.