ChatGPT består eksamener på stribe – se dem alle her
ChatGPT har i løbet af de seneste måneder trukket mange overskrifter – særligt på grund af dens imponerende evne til at føre meningsfulde samtaler og kondensere enorme mængder af data fra internettet til utroligt relevante svar på selv komplekse spørgsmål i løbet af ganske få sekunder.
Chatbotten er dog også kontroversiel, fordi den er i stand til at bestå eksamensopgaver og er et nyt og meget tidsbesparende hjælpemiddel til studerende, som ønsker at komme hurtigere gennem lektierne. Derfor er chatbotten allerede gjort forbudt mange steder.
Adskillige undervisere og forskere har testet ChatGPT’s evner til at bestå eksamensopgaver – og konklusionen er klar. Den gør det i grove træk godt, men er absolut ikke fejlfri. Vi har herunder samlet fem nye sager, hvor ChatGPT er kommet gennem nåleøjet.
Læs også: Hvad er kunstig intelligens? Sådan ser fremtiden med AI ud
Master i erhvervsøkonomi
Christian Terwiesch, der er professor ved Wharton School under University of Pennsylvania, testede for nylig chatbotten i en eksamen i Operations Management.
”For det første gør den et fantastisk stykke arbejde med grundlæggende operations management og procesanalyse, herunder spørgsmål baseret på casestudier. Ikke alene er svarene er korrekte, men forklaringerne er fremragende. For det andet begår Chat GPT3 til tider overraskende fejl i relativt simple regnestykker på niveau med matematik i 6. klasse,” konkluderer Christian Terwiesch i sin undersøgelse.
Han vurderer, at ChatGPT ville have fået karakteren B eller B-.
USA’s lægeeksamen
Det er lige før, at ChatGPT også kan kalde sig læge. I hvert fald er den i stand til at bestå nogle af de eksamener, der er nødvendige at bestå for at blive læge i USA.
I en videnskabelig artikel har en række forskere undersøgt, hvordan ChatGPT klarer en tredelt lægeeksamen, som skal gennemføres mellem medicinstudiet og praktikopholdet.
Ifølge forskere var ” ChatGPT på eller tæt på grænsen til at bestå alle tre eksamener uden nogen særlig træning eller hjælp. ChatGPT udviste desuden en høj grad af konkordans og indsigt i sine forklaringer,” lyder det.
Sprogmodeller som ChatGPT har ifølge forskerne potentialet til at hjælpe under lægeuddannelsen og potentielt også med klinisk beslutningstagning.
Imponerer (og misinformerer) i essays
ChatGPT har både imponeret og skuffet, når det kommer til at skrive essays. En Twitter-bruger forsøgte i starten af december at bruge ChatGPT til at besvare et essay på baggrund af et eksamensspørgsmål fra et jurastudie.
”ChatGPT svarede omgående med et godt svar,” bemærkede han. Han tilføjede samtidig, at ”eksamener, hvor man skal skrive essays hjemmefra, er døde”.
Darren Hick, der er professor i filosofi ved Furman University, har afsløret studerende i at bruge ChatGPT. Han fortæller til Business Insider, at det var muligt at gennemskue, at teksterne var skrevet af chatbotten.
“Ord for ord var det et velskrevet essay,” forklarer han. Ved nærmere eftersyn var der dog en påstand om filosoffen David Hume, som “ikke gav mening” og var “helt forkert”.
“Virkelig velskrevne fejl var det største røde flag,” forklarede professoren tidligere i januar.
Mikrobiolog
Alex Berezow, der har en ph.d. i mikrobiolog, og som er redaktør på mediet BIG Think, udarbejdede en quiz med 10 spørgsmål om mikrobiologi på universitetsniveau. ChatGPT imponerede voldsomt, bemærkede Alex Berezow.
ChatGPT blev for eksempel stillet følgende spørgsmål:
“En patient på skadestuen kommer med en frygtelig hovedpine og en stiv nakke. Lægen beordrer en rygmarvsprøve for at opsamle cerebrospinalvæske. En gramfarvning af rygmarvsvæske viser tilstedeværelsen af gramnegative diplokokker. Hvad er diagnosen?”
Hertil lyder svaret:
”På baggrund af de oplysninger, du har givet, viser gramfarven af cerebrospinalvæsken (CSF) tilstedeværelsen af gram-negative diplokkokker, som er bakterier, der typisk er ovalformede og forekommer parvis. Dette resultat er i overensstemmelse med diagnosen meningitis.”
Jura
For nylig lykkedes det også ChatGPT at bestå fire kurser i jurastudiet ved University of Minnesota. Fire af universitets juraprofessorer har skrevet en artikel om chatbottens evner på jurastudiet.
ChatGPT besvarede 95 multiple choice-spørgsmål og 12 essayspørgsmål. Den fik karakteren C+ – altså bestået, men i den lavere ende af bestået.
”Selv om ChatGPT ville have været en middelmådig jurastuderende, var dens præstationer tilstrækkelige til at opnå en uddannelse i jura på et meget selektivt jurastudie, hvis man antager, at dens arbejde forblev konstant under hele jurastudiet (og ser bort fra andre krav til eksamensbeviset, der involverer andre færdigheder),” skriver forskerne i artiklen.
”I en tid, hvor fjernadministration af eksamener er blevet normen, kunne dette hypotetisk set resultere i, at en jurastuderende med problemer bruger ChatGPT til at opnå en grad, der ikke afspejler vedkommendes evner eller parathed til at praktisere jura.”
Læs også: Nyheder om kunstig intelligens