Resuméer af forskningsartikler skrevet af ChatGPT narrer forskere
Er et resumé af en forskningsartikel skrevet af forskeren selv eller en avanceret AI-baseret sprogmodel som den omdiskuterede ChatGPT? Det er tilsyneladende ikke nemt at afgøre.
Siden virksomheden OpenAI lancerede en offentlig udgave af den AI-baserede sprogmodel ChatGPT, har den imponeret mange med dens evne til at skabe realistiske og det, der ser ud til at være intelligente tekstbaserede svar på enhver forespørgsel. AI-modellen, som bruger et neuralt netværk, og som er trænet med enorme mængder af data fra internettet, har dog også givet anledning til bekymringer.
Læs også: Hvad er kunstig intelligens? Sådan ser fremtiden med AI ud
Plagiatværktøjer og forskere bliver snydt af ChatGPT
Særligt inden for uddannelsessystemet og i den akademiske verden har brugen af AI-systemer som ChatGPT været til stor debat de seneste måneder. Nu har en gruppe af forskere fra Northwestern University i Chicago i den amerikanske delstat Illinois undersøgt, hvor svært forskere rent faktisk har ved at skelne ægte og AI-genererede resuméer af forskningsartikler fra hinanden.
Forskerne bad ChatGPT om at skrive 50 resuméer af forskning om medicin på baggrund af artikler udgivet i tidsskrifterne JAMA, The New England Journal of Medicine, The BMJ, The Lancet og Nature Medicine. Derefter blev resuméerne sammenlignet med de originale resuméer ved at blive analyseret af systemer, der først tjekker for plagiat og dernæst for, om teksterne er skrevet af en AI.
Værktøjet til at tjekke for plagiat viste sig at være særdeles ineffektivt. Vurderingen af, hvor originale ChatGPTs tekster var, lød på hele 100 procent. Værktøjet til at tjekke for AI-output opdagede derimod 66 procent af de AI-genererede resuméer.
De forskere, der også havde fået til opgave at skelne mellem teksterne, gjorde det dog ikke meget bedre. De kunne kun identificere 68 procent af de falske resuméer og 86 procent af de ægte resuméer. 32 procent af de falske resuméer blev identificeret som ægte, og 14 procent af de ægte resuméer blev identificeret som falske.
“ChatGPT skriver troværdige videnskabelige resuméer. Grænserne for etisk og acceptabel brug af store sprogmodeller til at hjælpe videnskabelig formidling er endnu ikke fastlagt,” skriver forfatter Catherine Gao blandt andet i undersøgelsen.
Læs også: Microsofts nye AI kan efterligne stemmer ud fra 3 sekunders lydklip
Kan få alvorlige konsekvenser
Sandra Wachter, som forsker i teknologi og reguluering ved University of Oxford i Storbritannien, siger til Nature, at det kan få ”alvorlige konsekvenser”, hvis forskere ikke kan afgøre, om forskningen er ægte. Forskere kan blandt andet opleve at få trukket egen forskning tilbage, hvis de utilsigtet får anvendt AI-genereret forskningslitteratur.
Det er dog ikke alle forskere, der ser på brugen af algoritmer som ChatGPT med samme alvor. Arvind Narayanan, der er datalog ved Princeton University i New Jersey, tror ikke på, at nogen seriøse forskere vil anvende ChatGPT til at skrive resuméer. Han mener ikke, at det er væsentligt, om det er muligt at opdage AI-genererede tekster eller ej.
“Spørgsmålet er, om værktøjet kan generere et resumé, der er præcist og overbevisende. Det kan det ikke, og derfor er fordelene ved at bruge ChatGPT ubetydelige, og ulemperne er betydelige,” siger han.
Læs også: Nyheder om kunstig intelligens