Ny metode opdager deepfake-videoer med 99 procents nøjagtighed

Forskere har udviklet en ny metode, der kan opdage videoer med manipulerede ansigtsudtryk med højere nøjagtighed end de hidtil bedste løsninger.

Ny metode opdager deepfake-videoer med 99 procents nøjagtighed

Forskere i datalogi fra forskningsuniversitetet UC Riverside i USA hævder, at en nyudviklet metode kan spotte enhver form for deepfake-videoer – altså videoer, hvor en persons ansigtsudtryk eller selve ansigtet er blevet manipuleret.

Deepfake-videoer er blevet et stadigt større problem, efterhånden som algoritmer er blevet bedre til at manipulere videoer i en sådan grad, at det kan være svært for det menneske øje at spotte en vellavet falsk video. Men lige så vel som algoritmer kan bruges til at skabe deepfakes, kan de også bruges til at opdage deepfakes – og netop det sidste har forskerne fra UC Riverside efter sigende haft stor succes med.

Opdager ændrede ansigtsudtryk med stor nøjagtighed

Hidtidige løsninger har været i stand til at opdage med rimelig nøjagtighed, når ansigter er blevet udskiftet, men algoritmer har straks sværere ved at opdage, når der ’kun’ manipuleres med en persons ansigtsudtryk.

“Det, der gør deepfake-forskningsområdet mere udfordrende, er konkurrencen mellem skabelsen og opdagelsen og forebyggelsen af deepfakes, som vil blive stadig hårdere i fremtiden. Med flere fremskridt inden for generative modeller vil deepfakes blive lettere at syntetisere og sværere at skelne fra ægte,” siger Amit Roy-Chowdhury, der er professor i elektro- og computerteknologi på Bourns College of Engineering, en del af UC Riverside.

Amit er medforfatter på en videnskabelig artikel, som beskriver resultaterne af en ny algoritme, der ikke blot kan spotte hele ansigter, der er blevet udskiftet, men også ansigtsudtryk, der er blevet manipuleret – med andre ord alle former for deepfakes.

Første og anden kolonne viser henholdsvis de originale og manipulerede billeder. De sort/hvide billeder i tredje kolonne er tilsvarende binære såkaldte ground truth-masker. Fjerde kolonne er de forudsagte masker, og femte kolonne er genererede såkaldte class activation maps (CAM’s) – det vil sige steder på billederne, hvor algoritmen har opdaget manipulering – i form af udskiftede ansigter (række 1, 2 og 3) og ændrede ansigtsudtryk (række 4, 5 og 6). Foto: Mazaheri & Roy-Chowdhury, 2022.

Tættere på at skabe automatiserede værktøjer

Forskernes nye algoritme kaldet Expression Manipulation Detection (EMD) kan altså både registrere og lokalisere, hvilke områder af et billede der er blevet manipuleret. Den virker ved først at registrere ansigtsudtryk og fodre et kunstigt neuralt netværk med data om de områder af ansigtet, der indeholder ansigtsudtryk, for eksempel munden, øjnene og panden. Disse oplysninger anvendes i algoritmens anden gren – en såkaldt encoder-decoder. Det er den del af algoritmen, der registrerer og lokaliserer manipulation.

Forskerne har gennemført eksperimenter, der viser, at EMD er bedre til at opdage både udskiftninger af ansigter og ændringer af ansigtsudtryk end de hidtil bedre løsninger.

Her formåede FER at opdage hele 99 procent af alle manipulerede videoer. Det bringer forskerne et skridt nærmere udviklingen af automatiserede værktøjer til at opdage manipulerede videoer, der indeholder blandt andet propaganda og misinformation, lyder det.

Læs også: Nyheder om fake news og konspiration