Meta frigav FACET-datasættet for at undersøge computersynsmodeller for bias

Meta har afsløret et nyt værktøj, FACET, til evaluering af retfærdigheden af kunstig intelligens, der klassificerer og genkender objekter i fotos og videoer, herunder mennesker.

Her er, hvad vi ved

FACET består af 32.000 billeder med 50.000 personer, der er mærket af menneskelige kommentatorer. Værktøjet tager højde for forskellige klasser relateret til erhverv og aktiviteter samt demografiske og fysiske karakteristika.

Meta anvendte FACET på sin egen computer vision-algoritme DINOv2. Værktøjet fandt flere bias i modellen, herunder mod personer med visse kønskarakteristika. Det viste sig også, at DINOv2 havde en tendens til at stereotypisere kvinder som "sygeplejersker".

Meta anerkender, at FACET måske ikke i tilstrækkelig grad afspejler virkelighedens koncepter og demografiske grupper. Desuden kan mange af beskrivelserne af professioner i datasættet have ændret sig, siden værktøjet blev skabt.

For eksempel bærer de fleste læger og sygeplejersker på billeder taget under COVID-19-pandemien mere personligt beskyttelsesudstyr, end de gjorde før pandemien.

Ud over selve datasættet leverede Meta også et værktøj til at udforske dataene. For at bruge det skal udviklere acceptere ikke at træne computersynsmodeller på FACET, men kun at evaluere, teste og validere dem.

Kilde: TechCrunch