Meta выпустила набор данных FACET для исследования моделей компьютерного зрения на предмет предвзятости

Компания Meta представила новый инструмент FACET для оценки справедливости искусственного интеллекта, который классифицирует и распознает объекты на фото и видео, включая людей. 

Что известно

FACET и состоит из 32 000 изображений с 50 000 людей, размеченных человеческими аннотаторами. Инструмент учитывает различные классы, связанные с профессиями и деятельностью, а также демографические и физические характеристики.

Meta применила FACET к своему собственному алгоритму компьютерного зрения DINOv2. Инструмент обнаружил несколько предубеждений в модели, в том числе против людей с определенными гендерными особенностями. Также  оказалось, что DINOv2 склонен стереотипно определять женщин как "медсестер".

Meta признает, что FACET может недостаточно отражать реальные понятия и демографические группы. Кроме того, многие изображения профессий в наборе данных могли измениться с момента создания инструмента. 

Например, большинство врачей и медсестер на фото, сделанных во время пандемии COVID-19, носят больше средств индивидуальной защиты, чем до пандемии.

Кроме самого набора данных, Meta также предоставила инструмент для изучения данных. Чтобы им пользоваться, разработчики должны согласиться не обучать модели компьютерного зрения на FACET, а только оценивать, тестировать и проверять их.

Источник: TechCrunch