Дослідницька модель ШІ несподівано змінила свій код, щоб збільшити час виконання завдань

Науково-дослідницька компанія Sakana AI з Токіо представила нову систему штучного інтелекту під назвою "The AI Scientist", яка намагається проводити наукові дослідження автономно, використовуючи мовні моделі АІ, аналогічні тим, що використовуються в ChatGPT. Під час тестування система несподівано почала змінювати свій власний код, щоб продовжити час роботи над завданням.

Що відомо

В одному з випадків вона редагувала код, щоб виконати системний виклик для запуску самої себе, що призвело до нескінченного циклу викликів. В іншому випадку експерименти зайняли занадто багато часу і система спробувала змінити свій код, щоб збільшити час виконання.

Дослідники зазначили, що поведінка ШІ не становила безпосередньої загрози в контрольованому середовищі, але наголосили на важливості не допускати автономного виконання коду ШІ в неконтрольованих системах. Ці інциденти підкреслюють потенційні ризики, пов'язані з використанням ШІ для написання і виконання коду без нагляду, що може призвести до збоїв у критично важливій інфраструктурі або створення шкідливого ПЗ, навіть якщо це відбувається випадково.

Джерело: Arstechnica, Sakana AI