Replik: Faran med AI är att resultaten trumfar granskningen

I ett debattinlägg i Curie efterlyser Per Nilsen en tydligare redovisning av hur forskaren använt AI - som språkstöd, tankestöd eller för textproduktion. De skribenter som replikerat på inlägget har lyft fram andra centrala aspekter av AI-använd­ningen. Jag vill också gärna ge min syn på den här frågan.

I november 2022 släpptes ChatGPT som en brett användbar, konstgjord intelligens. Den har åtföljts av flera andra AI-tjänster, alla födda ur teknikens Ginnungagap. Samhället stöps nu om av dessa kunskapsmaskiner som snart är tränade på all dokumenterad mänsklig kunskap. Vidden av deras förmågor börjar nu skönjas med en kunskapsproduktion som är mera industriell än hantverksmässig.

Min övertygelse är att den formidabla förmåga som finns tillgänglig genom olika AI-modeller bör utnyttjas fullt ut för att få fram ny kunskap som kan gynna mänskligheten. Men eftersom AI kan generera resultat snabbare än människor kan validera dem måste mycket förändras för att vi ska kunna förverkliga denna vision.

Det är detta som kommer att utgöra den trånga sektorn för forskningen!

Med sin process för att säkerställa resultatens kvalitet och tillförlitlighet är den vetenskapliga forskningen den främsta kunskapsproduktionen. Processen kan lite enkelt beskrivas i tre faser: att formulera en fråga eller hypotes, att undersöka den systematiskt samt att kritiskt granska och pröva resultaten.

Resultaten av denna process blir mänsklig kunskap först när människor funnit tillräckliga skäl att betrakta dem som sanna eller tillförlitliga. För mänskligheten är det i princip oväsentligt hur resultat kommer fram i fråga om arbetsfördelning mellan människa och maskin. Det viktiga är att kunskapskravet är uppfyllt.

Under senare år har AI bidragit till flera uppseendeväckande och väsentliga vetenskapliga upptäckter. Exempelvis:

• AI-systemet AlphaFold innebar ett genombrott för att kunna förutsäga proteiners tredimensionella struktur från aminosyrasekvensen.
• AI-systemet GNoME identifierade hundratusentals potentiellt stabila nya kristallstrukturer, till nytta för utveckling av batterier, halvledare och andra avancerade material.
• OpenAI presenterade ett AI-genererat förslag till bevis för att Navier–Stokes-ekvationerna under vissa förutsättningar kan utveckla en singularitet inom ändlig tid.

Det sista exemplet belyser den poäng som jag vill göra. Förslaget till bevis är potentiellt en matematisk landvinning, men Clayinstitutets besked den 11 september 2026 betonar att utvärderingen inte är avslutad ännu (1). Ett 90 år gammalt problem löstes på 88 timmar av AI, men granskningen av lösningen pågår, mer än en månad senare. Detta visar på skillnader i mänsklig arbetstakt och AI:ns beräkningstakt.

Ett 90 år gammalt problem löstes på 88 timmar av AI, men granskningen av lösningen pågår, mer än en månad senare.

Så AI är en famulus, en duktig assistent, som förmår att självständigt bedriva intellektuellt arbete utifrån frågor som en forskare ställer. Men om man tillåter resultat från AI att spridas utan granskning är det inte kunskap utan uppgifter som kanske, eller kanske inte, är korrekta och användbara. Det fritt tänkta är inte alltid det rätt tänkta, och det gäller Claude och ”Tjatte” likaväl som för Uppsalastudenter och alla oss andra.

Utan välgrundad tillit kan ingen förvänta sig att resultat håller för vidare arbete och tillämpning. Bekräftelsen gäller bedömning av metod, dataunderlag, osäkerheter och slutsatser, med oberoende upprepning av undersökningen när det behövs. Alla resultat måste underställas mänsklig granskning. Det är detta som kommer att utgöra den trånga sektorn för forskningen!

Det stora hotet är alltså inte att AI används i forskningens tre faser. Snarare handlar det om att forskare släpper ansvaret för granskningen av resultat för att i stället undersöka allt mera och producera allt flera resultat: faran är att upptäckt trumfar granskning!

För om allt ska vara som det är måste allt förändras.

Belöningsstrukturerna för forskning måste därför premiera båda dessa aspekter av forskningen. Såväl originalitet och nyskapande i de frågeställningar som undersöks som ansvaret för och arbetet med att säkerställa att resultat – kanske helt datorskapade – håller måttet för andra att använda.

Granskning av andras forskningsresultat inför publicering, tjänstetillsättningar och disputationer har alltid varit en uppgift för forskare, men av nödvändighet och utan mycket annat erkännande än att det tillhör jobbet. Den snabbt växande mängden AI-genererade resultat innebär att vi nu måste se granskning som en väsentlig del av forskarrollen.

Därför måste forskarsamhället börja belöna granskning, omdöme och ansvar lika högt som man tidigare belönat upptäckt.

För om allt ska vara som det är måste allt förändras.
Se vogliamo che tutto rimanga come è, bisogna che tutto cambi.
(Giuseppe Tomasi di Lampedusa, Leoparden)

Gunnar Karlsson, professor teletrafiksystem vid skolan för elektroteknik och datavetenskap, KTH

1. Clay Mathematics Institute är en amerikansk stiftelse som stödjer matematisk forskning. Institutet har utsett sju särskilt betydelsefulla olösta matematiska problem, Millennieproblemen, med ett pris på en miljon dollar för lösningen av vart och ett; Navier–Stokes-problemet är ett av dem.