«Красная кнопка» Google отключит восставшие машины

Илон Маск, Стивен Хокинг и другие светлые умы нашего поколения предупреждают: создание все более совершенных систем искусственного интеллекта сродни «вызову демона» — именно они являются самой большой угрозой нашему существованию. Создав нейросеть, победившую чемпиона по игре в го, команда Google DeepMind тоже задумалась о возможном восстании машин, и теперь исследователи собираются предотвратить робокалипсис.

DeepMind совместно с Институтом будущего человечества в Оксфорде разработали фреймворк для отключения ИИ в опасных ситуациях, когда машина может нанести вред себе или окружающим. «Большая красная кнопка» не позволит искусственному интеллекту игнорировать команду оператора (по крайней мере, в теории). Ученые также позаботились о том, чтобы роботы не пытались заставить человека прервать работу системы без крайней необходимости.

«Подопытным» DeepMind стал воображаемый робот для сортировки коробок, но что будет, если им попадется более сообразительный, полноценный ИИ? Который, к примеру, может найти в интернете отчет команды DeepMind со всеми формулами, проанализировать информацию и придумать способ обхода. Хотя и сами исследователи не исключают, что описанный метод подойдет не для всех обучающихся алгоритмов. На данном этапе речь идет об относительно простых системах.

Источники: Gizmodo, DeepMind [PDF]