OpenAI запускает группу Red Teaming Network для повышения надежности своих моделей

Компания OpenAI объявила о запуске программы Red Teaming Network — группы экспертов, которые будут оценивать и снижать риски в моделях искусственного интеллекта.

Что известно

По словам OpenAI, группа поможет выявлять предубеждения в моделях вроде DALL-E 2 и GPT-4, а также находить подсказки, заставляющие ИИ игнорировать фильтры безопасности.

Ранее компания тоже привлекала сторонних тестировщиков, но теперь эта работа формализована для "углубления и расширения" проверок с привлечением экспертов и организаций.

Участники сети смогут взаимодействовать друг с другом по общим вопросам тестирования ИИ. При этом не каждый участник проекта будет работать над новыми продуктами OpenAI.

Также компания приглашает к участию специалистов в различных областях, включая лингвистику, биометрию, финансы и здравоохранение. Предварительный опыт работы с системами ИИ не требуется, однако соглашение о неразглашении может повлиять на другие исследования, предупредили в OpenAI.

Источник: OpenAI