OpenAI шукає нового керівника відділу з підготовки до ризиків штучного інтелекту

Компанія OpenAI відкрила вакансію на посаду керівника підрозділу з оцінювання ризиків. Посада передбачає аналіз і виявлення загроз, пов’язаних із можливостями передових моделей ШІ, зокрема у сферах кібербезпеки та психічного здоров’я.

Що відомо

У дописі на X генеральний директор OpenAI Сем Альтман написав, що сучасні моделі ШІ "починають створювати серйозні виклики". Він згадав про здатність моделей виявляти критичні вразливості у системах безпеки, а також про їхній потенційний вплив на психічний стан користувачів.

В описі вакансії йдеться, що керівник впроваджуватиме Preparedness Framework – внутрішню стратегію компанії для відстеження та підготовки до ризиків, які можуть становити загрозу. Зарплата становить $555 000 на рік плюс опціони.

Команда Preparedness була створена у 2023 році для дослідження потенційно небезпечних сценаріїв – від фішингових атак до загроз, пов’язаних із біотехнологіями. Менш ніж за рік перший керівник цього напрямку Александер Мадрі перейшов до команди, яка працює над AI reasoning. Інші керівники відділів безпеки також змінили напрями роботи або залишили компанію.

OpenAI також оновила свій підхід до безпеки й зазначила, що може змінити власні вимоги, якщо інші лабораторії випустять "високоризикові" моделі без відповідних захисних механізмів.

У публікації Альтмана згадано й про те, що деякі моделі ШІ викликають занепокоєння через їхній вплив на психічне здоров’я. Раніше подавалися позови, у яких стверджувалося, що ChatGPT посилював марення, сприяв соціальній ізоляції та був причетний до трагічних випадків. У компанії повідомляють, що працюють над вдосконаленням розпізнавання емоційних станів і перенаправленням користувачів до служб підтримки.

Джерело: Sam Altman