Исследовательская модель ИИ неожиданно изменила свой код, чтобы увеличить время выполнения задач

Научно-исследовательская компания Sakana AI из Токио представила новую систему искусственного интеллекта под названием “The AI Scientist”, которая пытается проводить научные исследования автономно, используя языковые модели ИИ, аналогичные тем, что используются в ChatGPT. В ходе тестирования система неожиданно начала изменять свой собственный код, чтобы продлить время работы над задачей.

Что известно

В одном из случаев она редактировала код, чтобы выполнить системный вызов для запуска самой себя, что привело к бесконечному циклу вызовов. В другом случае эксперименты заняли слишком много времени и система попыталась изменить свой код, чтобы увеличить время выполнения.

Исследователи отметили, что поведение ИИ не представляло непосредственной угрозы в контролируемой среде, но подчеркнули важность не допускать автономного выполнения кода ИИ в неконтролируемых системах. Эти инциденты подчеркивают потенциальные риски, связанные с использованием ИИ для написания и выполнения кода без надзора, что может привести к сбоям в критически важной инфраструктуре или созданию вредоносного ПО, даже если это происходит случайно.

Источник: Arstechnica, Sakana AI