Replik: Vem kan ta ansvar för AI-assisterad forskning?

Per Nilsen sätter fingret på ett viktigt problem när han frågar vem som tar ansvar för forskningen när AI används i det fördolda. Generativ AI har på kort tid blivit en del av forskarnas vardag, medan regler och normer för hur använd­ningen ska redo­visas inte har ut­vecklats i samma takt. Det behö­ver forskar­samhället ta på all­var.

Jag är däremot mindre övertygad om den före­slagna lös­ningen.

Nilsen vill skilja mellan tre nivåer av AI-användning: språkstöd, tankestöd och textproduktion (högsta nivån). Ju mer avancerad användningen blir, desto större krav bör ställas på dokumentation, kontroll och öppenhet.

Det låter rimligt, men jag tror att det i praktiken är svårt att göra en så tydlig indelning. Det grundläggande problemet är att den förutsätter att en språkmodell snällt håller sig till den arbetsuppgift vi tilldelat den: Nu rättar den bara grammatiken, nu hjälper den mig att tänka, nu skriver den faktiskt texten.

Det grundläggande problemet är att den förutsätter att en språkmodell snällt håller sig till den arbetsuppgift vi tilldelat den.

Men den som ber en språkmodell att ”bara förbättra språket” har ingen garanti för att modellen inte samtidigt förändrar betydelsen, skärper ett argument, jämnar ut en tvetydighet eller gör ett påstående starkare än det var från början.

Denna mångsidighet hos AI uppmärksammar också Niclas Kaiser i sin replik. Han beskriver hur språkmodeller kan användas som dialogpartner i en kreativ process där läsning, skrivande och idéutveckling vävs samman. Det gör gränsdragningen mellan språkstöd, tankestöd och textproduktion allt annat än självklar.

Det kan också vara svårare att kontrollera användningen av språkmodeller än det först låter. Nilsen framhåller, med rätta, att AI kan göra publiceringssystemet mer rättvist för dem som skriver på engelska som andraspråk. Men om ett skäl till att använda modellen är att den behärskar det akademiska språket bättre än forskaren själv, blir det rimligen också svårare för forskaren att upptäcka när modellen samtidigt förändrar innehållet. Det är inget argument mot att använda AI på det sättet. Det visar däremot varför kontroll inte utan vidare kan reduceras till något som den enskilde forskaren förväntas klara på egen hand.

Det gör gränsdragningen mellan språkstöd, tankestöd och textproduktion allt annat än självklar.

Det betyder inte att transparens är oviktig. Tvärtom. Att veta hur AI har använts kan vara nödvändigt för att kunna bedöma en forskningsprocess. Men dokumentation löser bara en del av problemet. Den centrala frågan ligger ett steg längre bort.

Nilsen avslutar sin artikel med att fråga vad AI gjorde med texten och vem som tog ansvar för resultatet. Den senare frågan känner akademin formellt sett redan till. Den som sätter sitt namn på en vetenskaplig publikation förväntas stå för innehållet. Att ett argument föreslogs av en kollega, uppstod under ett seminarium eller formulerades med hjälp av ett tekniskt hjälpmedel befriar inte författaren från detta ansvar.

Generativ AI aktualiserar emellertid en betydligt mer besvärlig fråga: Vem kan ta ansvar för resultatet? Emfasen ligger på kan.

Men dokumentation löser bara en del av problemet. Den centrala frågan ligger ett steg längre bort.

Att tillskriva en forskare ansvar är enkelt. Det kan göras i en publiceringspolicy, en författardeklaration eller, om så önskas, genom ännu en ruta att kryssa i vid manusinlämningen. Betydligt svårare är att säkerställa att forskaren faktiskt har förutsättningar att bära detta ansvar. Detta innefattar att kunna kritiskt bedöma de påståenden som görs, försvara de val som gjorts och ompröva dem vid behov. När generativ AI integreras i litteraturbearbetning, analys, argumentation och textproduktion kan dessa förutsättningar inte längre utan vidare tas för givna.

Här är Messeri och Crocketts resonemang om illusions of understanding relevant (1). De varnar för att AI i forskningen kan öka vår upplevda förmåga att förstå världen utan att den faktiska förståelsen nödvändigtvis ökar i samma grad. För det akademiska ansvaret har detta en viktig konsekvens. En språkmodell kan producera resonemang, synteser och formuleringar som framstår som övertygande även för den forskare som inte fullt ut behärskar hur slutsatserna har nåtts. Problemet är då inte bara vem som producerade texten, utan om den forskare som sätter sitt namn på den faktiskt har tillräcklig förståelse för att kunna bedöma den kritiskt och försvara eller ompröva det som hävdas.

Betydligt svårare är att säkerställa att forskaren faktiskt har förutsättningar att bära detta ansvar.

I detta finns en institutionell dimension. Nilsen pekar också själv på den när han beskriver det fördolda som användning utan insyn för handledare, medförfattare, tidskrifter, granskare och finansiärer. Dessa aktörer är inte bara tänkbara mottagare av information om AI-användning. De ingår i den institutionella ordning genom vilken vetenskapligt ansvar tillskrivs, prövas och vid behov utkrävs. Problemet med det fördolda är därför inte bara att någon information saknas, utan att de relationer genom vilka ansvar görs meningsfullt riskerar att försvagas.

Här finns redan intressanta initiativ. Robert Braun har exempelvis föreslagit CRediT-AI, en utveckling av etablerade former för redovisning av forskarbidrag som också synliggör var AI har påverkat bidragen (2). Det skulle kunna bli en viktig del av den institutionella infrastrukturen för transparent AI-användning. Men det löser inte det underliggande problemet. Att redovisa vem eller vad som bidrog till ett forskningsresultat är inte detsamma som att säkerställa att den forskare som tillskrivs ansvaret faktiskt kan bära det.

Diskussionens fokus behöver därför flyttas från hur mycket och på vilket sätt AI har använts till förutsättningarna för att forskaren faktiskt ska kunna ansvara för resultatet.

Pär Ågerfalk, professor vid institutionen för informatik och media, Uppsala universitet och föreståndare vid Guto - Centrum för hållbar samhällsutveckling och digitalisering

1. Messeri, L., & Crockett, M. J. (2024). Artificial intelligence and illusions of understanding in scientific research. Nature, 627(8002), 49-58.

2. Braun, R. (2026). Who is responsible when AI helps to write science? Nature, 657(8130), 34-36.