Meta lanserte FACET-datasettet for å undersøke datasynsmodeller for skjevheter.

Meta har avduket et nytt verktøy, FACET, for å evaluere rettferdigheten av kunstig intelligens som klassifiserer og gjenkjenner objekter i bilder og videoer, inkludert mennesker.

Dette er hva vi vet

FACET består av 32 000 bilder med 50 000 personer som er merket av menneskelige kommentatorer. Verktøyet tar hensyn til ulike klasser knyttet til yrker og aktiviteter, samt demografiske og fysiske egenskaper.

Meta brukte FACET på sin egen datasynalgoritme DINOv2. Verktøyet fant flere skjevheter i modellen, blant annet mot personer med visse kjønnskarakteristika. Det viste seg også at DINOv2 hadde en tendens til å stereotypisere kvinner som "sykepleiere".

Meta erkjenner at FACET kanskje ikke i tilstrekkelig grad gjenspeiler virkelige begreper og demografiske grupper. I tillegg kan mange av beskrivelsene av yrker i datasettet ha endret seg siden verktøyet ble utviklet.

For eksempel bruker de fleste leger og sykepleiere på bilder tatt under covid-19-pandemien mer personlig verneutstyr enn de gjorde før pandemien.

I tillegg til selve datasettet tilbyr Meta også et verktøy for å utforske dataene. For å kunne bruke verktøyet må utviklerne forplikte seg til ikke å trene datasynsmodeller på FACET, men kun evaluere, teste og validere dem.

Kilde: TechCrunch