Førerløse biler er dårligere til at opdage børn og mørkhudede fodgængere
Forskere fra King’s College London har afsløret, at der er en tydelig bias i algoritmerne bag assistentsystemet fodgængerregistrering i biler. Det fremgår af et nyt studie offentliggjort i tidsskriftet arXiv.
Når biler med fodgængerregistrering indbygget skal opdage og bremse op for fodgængere og bløde trafikanter på vejbanen, er der ikke lige så gode odds for at slippe uskadt fra situationen, hvis man er barn eller mørkhudet, som hvis man er voksen eller har lys hud.
Læs også: Elbiler – alt om teknologien, der skal sikre den grønne omstilling
Datasæt til algoritmerne er fyldt med bias
Når bilproducenterne anvender fodgængerregistrering, gør de som regel brug af open source-datasæt til at træne en algoritme til at registrere – i dette tilfælde – fodgængere på vejen.
Fire af sådanne datasæt har forskerne testet ved at gennemgå 8.311 billeder med 16.070 kønsannoteringer, 20.115 aldersannoteringer og 3.513 hudfarveannoteringer.
Som med mange andre AI-algoritmer har forskerne fundet en tydelig bias i træningsmaterialet. Registreringsnøjagtigheden for voksne er 19,67 procent højere sammenlignet med børn, og der er en forskel på 7,52 procent i nøjagtigheden mellem personer med lys og mørk hud. Køn viser dog kun en forskel på 1,1% i registreringsnøjagtighed.
Forskerne fandt også frem til, at bias i fodgængerregistrering siger markant under forhold, hvor der er lav kontrast og lav belysning – et scenarie der forekommer i aften- og nattetimerne.
Ifølge forskerne er den primære årsag til denne forskel i registreringsnøjagtigheden, at datasættene indeholder flere mennesker med lys hud end mørk hud. Der mangler med andre ord fairness i datasættene, lyder det.
“Retfærdighed, når det kommer til AI, er, når et AI-system behandler privilegerede og underprivilegerede grupper ens, hvilket ikke er, hvad der sker, når det kommer til selvkørende køretøjer. Bilproducenterne offentliggør ikke detaljerne om den software, de bruger til at opdage fodgængere, men da de normalt er bygget på de samme open source-systemer, som vi brugte i vores forskning, kan vi være ret sikre på, at de løber ind i de samme problemer med bias,” siger Dr. Jie Zhang, der er lektor i datalogi ved King’s College London.
Bias i træningsmateriale er et udbredt problem
Det er ikke første gang, at konsekvenserne af unfair AI-algoritmer er blevet belyst. Der er også tydelig bias i algoritmer til AI-baseret rekrutteringssoftware, der favoriserer mandlige ansøgere og ansigtsgenkendelsessoftware der er mindre nøjagtig over for sorte kvinder end hvide mænd.
I tilfældet med algoritmerne bag forgængerregistrering er konsekvenserne dog mere end ”bare” diskrimination. Her kan der være menneskeliv på spil, når en algoritme ikke registrerer et barn eller en mørkhudet person ved et fodgængerfelt.
Læs også: Software i selvkørende biler tilbagekaldes efter at forårsage tre uheld
Opfordrer bilproducenter og politikere til at regulere AI
Dr. Zhang opfordrer derfor bilproducenter og regeringer til at gå sammen om at sikre ny lovgivning, der sikrer, at sikkerheden for algoritmerne bag fodgængerregistrering kan måles objektivt – især når det kommer til retfærdighed.
“De nuværende regler om retfærdighed i disse systemer er begrænsede, hvilket kan have en stor indflydelse ikke kun på fremtidige systemer, men direkte på fodgængernes sikkerhed. Efterhånden som AI bliver mere og mere integreret i vores dagligdag – lige fra de typer biler, vi kører i, til den måde, vi interagerer med politiet på – vil dette spørgsmål om retfærdighed kun blive vigtigere,” siger Dr. Jie Zhang.