Replik: Vi måste tänka nytt när AI blir en del av ansökningsprocessen

Användning av artificiell intelligens (AI) i forskningsansökningar och vid bedömningen av dem skapar nya utmaningar. De nationella forskningsfinansiärerna i Norden och Nordforsk har en unik möjlighet att tillsammans pröva och utvärdera nya metoder för att granska ansökningar i AI-tidsåldern.

När forskningsfinansiärer ska planera och genomföra bedömningen av forskningsansökningar tar de speciellt hänsyn till två saker: att säkra granskningsprocessernas effektivitet och att säkra att processerna håller hög kvalitet så att de bästa projekten rangordnas högst och får finansiering.

Offentliga forskningsfinansiärer ska drivas effektivt och se till att så mycket som möjligt av pengarna de förvaltar går till forskningen. Vi försöker därför hålla kostnaderna för bedömning så låga som möjligt utan att det ska ske på bekostnad av processernas kvalitet.

Därför måste vi vara villiga att diskutera mer grundläggande förändringar än vi gjort hittills.

Arvodena till experterna som bedömer ansökningar ökar proportionellt med antalet ansökningar. Om andelen godkända ansökningar är låg blir de administrativa kostnaderna per finansierat projekt höga.

Processens kvalitet påverkas av hur finansiärerna rekryterar experter, antal experter som granskar varje ansökan och rutinerna vid betygsättning och feedback till sökande. I slutändan är det kompetensen hos experterna och hur väl de utför sitt arbete som avgör hur bra bedömningen blir.

Även om granskningsprocesserna hos de flesta forskningsfinansiärer har varit sig ganska lika i många år pågår en kontinuerlig diskussion om hur vi kan förbättra dem. Den stadigt ökande användning av AI, både i ansökningar och vid bedömning, har förstärkt behovet att se över granskningsprocesserna. Därför måste vi vara villiga att diskutera mer grundläggande förändringar än vi gjort hittills.

Men AI kan också försköna en forskningsidé som saknar originalitet eller är dåligt genomtänkt.

Vi måste förbereda oss på att AI kommer att användas i framtida ansökningar. AI gör det lättare att formulera bakgrund, beskriva arbetsplaner, presentera konsortiet och ge övertygande redogörelser av kommunikationsplaner och förväntad ’impact’. Men AI kan också försköna en forskningsidé som saknar originalitet eller är dåligt genomtänkt.

Ansökningar kommer därmed att se alltmer lika ut, speciellt de mer generiska delarna. Det gör att kvaliteten på ansökningarna kan verka mer enhetlig, och det kommer att finnas färre indikatorer på hur de ska rangordnas.

Som en följd av att det blir lättare och mindre tankekrävande att skriva ansökningar, kommer antalet ansökningar till varje utlysning förmodligen att öka. Det gör att finansiärerna måste rekryterar fler experter för att bedöma ansökningar. Redan idag är det en utmaning att hitta tillräckligt många kompetenta experter som är villiga att bedöma forskningsansökningar.

När antalet ansökningar ökar kommer andelen beviljade att sjunka. Denna andel är redan för låg i många utlysningar. En ytterligare minskning kommer att undergräva förtroendet för systemet.

Att experterna ska använda tid för att granska maskinproducerad text är inte meningsfullt.

Av vår dialog med de nordiska forskningsfinansiärerna framgår det tydligt att alla förbereder sig på att hantera många AI-genererade ansökningar. Eftersom de nordiska finansiärerna i hög grad använder sig av samma processer för utlysningar och granskning av ansökningar, har de mycket att vinna på att samarbeta kring utvecklingen av nya, mer AI-anpassade, bedömningsmetoder.

De nordiska ländernas forskningsfinansiärer har förbud mot användning av AI vid granskningen av ansökningar. Men AI kan användas för att förbättra språket i experternas utvärderingar. På lång sikt kommer det vara svårt att upprätthålla ett totalförbud mot att använda AI vid granskningen. Det ideala skulle vara att de nordiska finansiärerna samarbetar med sina europeiska systerorganisationer för att utveckla säkra AI-verktyg som kan användas både vid formulering av forskningsansökningar och vid bedömningen av dem.

Innan att ett sådant verktyg är utvecklat kan experternas uppgift begränsas till att bedöma endast projektidé, originalitet, vetenskaplig metod, forskarnas kompetens och sammansättningen av forskningsteamet. Andra delar av ansökningen, kommer med stor sannolikhet att vara producerade med hjälp av AI. Att experterna ska använda tid för att granska maskinproducerad text är inte meningsfullt.

Två tänkbara metoder som skulle kunna testas är att ha sökande som granskare i utlysningar som de själva deltar i och att be forskare skicka in korta videoklipp där de presenterar sina forskningsidéer. Vi på Nordforsk ställer oss gärna till förfogande för att genomföra sådana tester. Nordforsk är en liten finansiär som opererar i hela Norden. Vi är flexibla och kan enkelt anpassa våra rutiner och testa nya modeller för utlysningar och granskningsprocesser.

Såväl universitetsledningar som enskilda forskare måste se till att AI används på ett ansvarsfullt sätt.

Jag uppmanar de nationella finansiärerna i Norden att tillsammans gå in för att etablera Nordforsk som en plattform för utveckling och testning av nya bedömningsmetoder. Så kan vi möta den nya verklighet vi arbetar i.

De utmaningar som beskrivs här gäller inte bara finansiärer, utan hela forskningssystemet. Såväl universitetsledningar som enskilda forskare måste se till att AI används på ett ansvarsfullt sätt. Uppdragsgivare och beslutsfattare måste förstå vilka konsekvenser användningen av AI kan få för förtroendet till forskning och kvaliteten på forskning. Och finansiärer behöver utveckla granskningsprocesser som säkerställer att den bästa och mest originella forskningen också i fortsättningen är den som får finansiering.

Arne Flåøyen, direktör, Nordforsk