Дослідницька модель ШІ несподівано змінила свій код, щоб збільшити час виконання завдань
Науково-дослідницька компанія Sakana AI з Токіо представила нову систему штучного інтелекту під назвою "The AI Scientist", яка намагається проводити наукові дослідження автономно, використовуючи мовні моделі АІ, аналогічні тим, що використовуються в ChatGPT. Під час тестування система несподівано почала змінювати свій власний код, щоб продовжити час роботи над завданням.
Що відомо
В одному з випадків вона редагувала код, щоб виконати системний виклик для запуску самої себе, що призвело до нескінченного циклу викликів. В іншому випадку експерименти зайняли занадто багато часу і система спробувала змінити свій код, щоб збільшити час виконання.
Дослідники зазначили, що поведінка ШІ не становила безпосередньої загрози в контрольованому середовищі, але наголосили на важливості не допускати автономного виконання коду ШІ в неконтрольованих системах. Ці інциденти підкреслюють потенційні ризики, пов'язані з використанням ШІ для написання і виконання коду без нагляду, що може призвести до збоїв у критично важливій інфраструктурі або створення шкідливого ПЗ, навіть якщо це відбувається випадково.
Джерело: Arstechnica, Sakana AI
