Nextorage aiDAPTIV Station: как запустить тяжелую нейросеть на ноутбуке с 32 ГБ памяти
Запуск больших языковых моделей (LLM) сегодня напоминает попытку запихнуть слона в холодильник. Если у вас нет серверной стойки или хотя бы пары топовых видеокарт с огромным объемом видеопамяти, о локальном запуске серьезных нейросетей можно забыть. Однако японская компания Nextorage, которая является дочерним предприятием контроллерного гиганта Phison, решила подойти к проблеме с другой стороны — через внешний порт вашего ноутбука.
Разработчики представили прототип устройства под названием aiDAPTIV Station. Это внешняя аппаратная станция, которая обещает дать возможность запускать модели уровня OpenAI GPT-OSS-120B на обычных компьютерах, где установлено всего 32 ГБ оперативной памяти. Для контекста: такие модели обычно требуют значительно больше ресурсов, чем может предложить среднестатистический лэптоп, даже если он гордо носит наклейку «AI PC».
Магия подкачки или как работает aiDAPTIV
В основе работы станции лежит технология Phison aiDAPTIV+. Вместо того чтобы пытаться вместить всю модель в дорогую оперативную память (DRAM), система динамически распределяет данные между имеющейся памятью компьютера и внешним хранилищем NAND. Фактически, устройство использует скоростные SSD как расширение оперативки, разбивая большие модели на слои и загружая их по мере необходимости.
Конечно, такой подход не сделает обработку запросов мгновенной — скорость передачи данных через интерфейс USB-C все равно остается «узким местом» по сравнению с шиной PCIe непосредственно на материнской плате. Однако для разработчиков и энтузиастов, которым важна сама возможность локального запуска без облачных подписок, это вполне приемлемый компромисс. Станция имеет компактный дизайн и поддерживает работу с операционными системами Windows и Ubuntu Linux, что делает ее универсальным инструментом для тестирования нейросетей «на ходу».
Рыночные перспективы и программное обеспечение
Nextorage не просто предлагает железо, а и планирует выпустить готовое программное решение, которое автоматизирует процесс настройки моделей под их станцию. Это критически важно, поскольку самостоятельное квантование и сегментация моделей — удовольствие для терпеливых. Ожидается, что Nextorage выведет aiDAPTIV Station на японский рынок уже к концу этого года. О цене пока умалчивают, но она точно будет ниже, чем у профессиональных GPU с 48 ГБ+ видеопамяти.
Пока крупные корпорации пытаются продать нам облачные решения по подписке, такие проекты возвращают вычислительные мощности в руки пользователей. Даже если это означает, что ваш ноутбук будет обрастать дополнительными коробочками для выполнения сложных задач. Хотя на фоне общего скепсиса относительно эффективности ИИ-инвестиций, такие доступные решения могут стать реальным выходом для малого бизнеса.
Интересно, что на фоне разработок новых методов запуска нейросетей, отчет MIT NANDA показывает, что 95% компаний не получили отдачи от вложений в искусственный интеллект, что лишь подчеркивает необходимость в более дешевых инструментах.