Энергоэффективность уровня «мозг»: как архитектура ANT спасет планету от ненасытного ИИ

Мозг vs ИИ. ANT спасает планету.. Источник: AI

Современный искусственный интеллект напоминает старый американский маслкар: мощности много, но расход топлива такой, что о экологии лучше не вспоминать. Пока технологические гиганты строят дата-центры размером с небольшой город, ученые из Массачусетского университета решили, что пора перестать нагревать атмосферу синхронными вычислениями. Они представили архитектуру ANT, которая копирует биологические принципы работы нейронов.

Проклятие синхронных вычислений

Нынешние большие языковые модели — это монстры синхронизации. Миллиарды параметров обновляются одновременно под диктовку глобального тактового цикла. Это стабильно и удобно для разработчиков, но катастрофически дорого для энергосети. Для сравнения: человеческий мозг с его 86 миллиардами нейронов потребляет около 20 ватт. Это меньше, чем лампочка в вашем холодильнике. ИИ-модели аналогичной сложности требуют гигаватты энергии и сложные системы охлаждения.

ANT: Асинхронность без потери «разума»

Команда под руководством профессора Хавы Зигельман (Hava Siegelmann) опубликовала в журнале Nature Communications исследование архитектуры ANT (Asynchronous Neural Turing networks). Главная фишка — полный отказ от единого тактового сигнала. В мозгу нейроны не ждут друг друга; они активируются группами только тогда, когда это нужно для конкретной задачи.

Ключевая проблема асинхронных сетей ранее заключалась в том, что их было почти невозможно обучить традиционными методами вроде градиентного спуска. Хава Зигельман, которая еще в 1995 году доказала, что рекуррентные нейронные сети имеют вычислительную мощность машины Тьюринга, нашла способ сохранить дифференцированное обучение в асинхронной среде. Это позволяет системе обновлять только те части сети, которые необходимы в данный момент, снижая энергопотребление на порядки.

Непрерывное обучение в реальном времени

Кроме экономии электроэнергии, ANT решает проблему «забывчивости» ИИ. Обычные модели проходят фазу обучения, после чего их знания «замораживаются». Новая архитектура позволяет системе адаптироваться и учиться напрямую во время работы, не теряя прежний опыт. Это открывает двери для нового поколения устройств:

• Робототехника: машины, которые мгновенно адаптируются к новым ландшафтам без переобучения в облаке.
• Автономный транспорт: системы, способные мгновенно реагировать на критические ситуации без задержек, характерных для синхронных циклов.
• Периферийные вычисления: умные устройства, работающие неделями от одной зарядки, выполняя сложные задачи локально.

Если ANT удастся масштабировать, гонка за количеством параметров может наконец уступить место гонке за архитектурной изысканностью. Ведь истинный интеллект — это не только про гигабайты данных, но и про способность обрабатывать их так же элегантно, как это делает природа.

Пока одни ученые ищут способы сделать ИИ экономичнее, другие планируют выводить вычислительные мощности за пределы планеты. Например, спутник размером с Boeing 747 от SpaceX может стать частью космической инфраструктуры для обработки данных.