Meta heeft de FACET-dataset vrijgegeven om computervisiemodellen te onderzoeken op vertekening

Meta heeft een nieuwe tool onthuld, FACET, voor het evalueren van de eerlijkheid van kunstmatige intelligentie die objecten in foto's en video's classificeert en herkent, inclusief mensen.

Dit is wat we weten

FACET bestaat uit 32.000 afbeeldingen met 50.000 mensen gelabeld door menselijke annotators. De tool houdt rekening met verschillende klassen gerelateerd aan beroepen en activiteiten, evenals demografische en fysieke kenmerken.

Meta paste FACET toe op zijn eigen computervisie-algoritme DINOv2. De tool vond verschillende vertekeningen in het model, waaronder tegen mensen met bepaalde geslachtskenmerken. Het ontdekte ook dat DINOv2 de neiging had om vrouwen te stereotyperen als "verpleegsters".

Meta erkent dat FACET mogelijk geen adequate weergave is van echte concepten en demografische groepen. Bovendien kunnen veel van de afbeeldingen van beroepen in de dataset veranderd zijn sinds de tool werd gemaakt.

De meeste artsen en verpleegkundigen op foto's genomen tijdens de COVID-19 pandemie dragen bijvoorbeeld meer persoonlijke beschermingsmiddelen dan voor de pandemie.

Naast de dataset zelf, leverde Meta ook een hulpmiddel om de gegevens te verkennen. Om het te gebruiken, moeten ontwikkelaars ermee instemmen om geen computervisiemodellen te trainen op FACET, maar alleen om ze te evalueren, testen en valideren.

Bron: TechCrunch