Больше кеша — быстрее ИИ: процессоры AMD X3D разгромили конкурентов в тестах RAG
Долгое время считалось, что технология 3D V-Cache — это своего рода «эксклюзивный бонус» для геймеров, которым не хватает кадров в секунду. Однако свежие результаты бенчмарка X3D RAG Benchmark заставляют взглянуть на эти процессоры под другим углом. Оказывается, огромный массив кеш-памяти третьего уровня (L3) становится критическим фактором успеха в задачах искусственного интеллекта, особенно когда речь идет о локальных системах поиска и генерации ответов.
Почему ИИ вдруг понадобился кеш процессора?
Когда мы говорим об ИИ, большинство сразу вспоминает мощные видеокарты (GPU). Но в архитектуре RAG (Retrieval-Augmented Generation) ситуация несколько сложнее. Эта технология позволяет языковым моделям не просто «выдумывать» ответы, а сначала искать актуальную информацию во внешней базе знаний, а уж потом формировать результат. И вот здесь на сцену выходит центральный процессор.
Поиск в векторных базах данных, обработка запросов и индексирование — это операции, которые в значительной мере ложатся на плечи CPU. В таких сценариях скорость доступа к данным в памяти становится «узким местом». Процессоры Ryzen 7 9800X3D и их последователи с технологией 3D V-Cache имеют значительно больший объем кеша, что позволяет держать необходимые данные «под рукой», не обращаясь каждый раз к более медленной оперативной памяти.
Цифры, которые поражают: 8 ядер против 16
Результаты теста Batch Search 100K демонстрируют почти двукратное преимущество: модели X3D оказались до 88% быстрее стандартных версий без дополнительного кеша. В более сложном сценарии Batch Search 200K процессор Ryzen 7 9850X3D показал прирост более 50% по сравнению с Ryzen 7 9700X. Самое интересное в том, что оба чипа имеют по 8 ядер. Более того, 8-ядерный «монстр» с кешем в некоторых тестах обошел даже флагманский 16-ядерный Ryzen 9 9950X. Это еще раз доказывает: для специфических вычислений архитектура и память значат больше, чем просто «грубая сила» количества ядер.
Индексирование и время отклика
Построение индекса базы знаний — еще один этап, где 3D V-Cache демонстрирует свою эффективность. В тестах Index Build 100K время выполнения сократилось вдвое (на 50%), а в сценарии 200K — на 39%. Это означает, что локальная нейросеть быстрее «усваивает» новые документы. Единственный показатель, где разница была минимальной, — это TTFT (Time To First Token), то есть время до появления первого символа в ответе. Здесь основная нагрузка все еще лежит на видеокарте, поэтому тесты производительности не фиксируют там значительного отрыва CPU.
Для разработчиков и энтузиастов, которые разворачивают небольшие RAG-системы на собственных серверах или рабочих станциях, это важный сигнал. Похоже, AMD создала удачное решение для локального ИИ в потребительском сегменте. Пока конкуренты наращивают количество ядер, «красные» просто добавили больше памяти туда, где она наиболее нужна.
Кстати, пока процессоры соревнуются в скорости доступа к кешу, производители памяти тоже не стоят на месте. Например, компания SK hynix начала штамповать 192 ГБ памяти SOCAMM2, что может кардинально изменить подход к построению мощных систем для работы с искусственным интеллектом.