Смотри и учись: роботов научили осваивать навыки за 29 секунд после одного видео
Пока человечество тратит годы на освоение базовых навыков, разработчики из группы, связанной с X Square Robot, решили ускорить эволюцию железа. На сервисе препринтов arXiv появился описание метода HOST (Human-to-robot One-Shot Skill AcquisiTion). Его суть проста: робот смотрит только одно видео с человеком и сразу пытается повторить увиденное, не тратя часы на перенастройку нейросети.
Цифровое обезьянничанье без лишних усилий
Основная фишка HOST заключается в том, что он не использует демонстрацию как новый набор данных для обучения. Вместо того чтобы изменять веса нейросети (что долго и дорого), система превращает видео в «контекстную подсказку». Модель остаётся замороженной, но получает чёткую инструкцию, что именно от неё хотят прямо сейчас.
Механика процесса выглядит следующим образом: система анализирует ролик, где человек выполняет задание — например, перекладывает предмет из одной ёмкости в другую. HOST оценивает стадию выполнения, а затем прогнозирует, как этот же этап должен выглядеть с точки зрения сенсорики и «тела» самого робота. После этого алгоритм строит цепочку действий для достижения результата. Никаких сотен повторений или ручной разметки — один просмотр и один проход.
Скорость против надёжности: 29 секунд на раздумья
На практике «усвоение» нового навыка занимает в среднем всего 29 секунд. Это впечатляет, если сравнивать с традиционной тонкой настройкой (fine-tuning). Авторы утверждают, что HOST работает в 507 раз быстрее, чем методы, которые требуют 50 демонстраций для каждой отдельной задачи. Прогресс по сравнению с подходом «zero-shot» (когда робот действует вообще без подсказок) также очевиден: успешность выросла с 17% до 62%.
Тем не менее открывать шампанское рано. Показатель в 62% означает, что почти в четырёх случаях из десяти машина ошибается. Для современной робототехники это неплохой исследовательский результат, но для реального производства такой надёжности недостаточно. Кроме того, тесты проводились в «стерильных» условиях: на собственных платформах разработчиков и с знакомыми им объектами. Как поведёт себя HOST в незнакомой среде с чужим оборудованием — вопрос открытый.
Перспективы для индустрии
Для инженеров HOST интересен прежде всего концептуально. Если сообщество сможет воспроизвести результаты и поднять успешность хотя бы до 85–90% за счёт лучшей оценки прогресса, метод может стать стандартом для быстрой перенастройки промышленных манипуляторов. Возможность «объяснить» роботу новую задачу за полминуты без привлечения программистов — это именно то, чего не хватает современным фабрикам.
Пока HOST обучает манипуляторов базовым движениям, крупные игроки рынка готовят более сложные системы — например, компания LG готовит двуногого гуманоид на основе технологий Nvidia, премьера которого запланирована на 2027 год.