NVIDIA выпустила чат-бота, который работает прямо на ПК пользователя

Автор: Богдан Каминский, 14 февраля 2024, 13:07
NVIDIA выпустила чат-бота, который работает прямо на ПК пользователя
NVIDIA

Компания NVIDIA представила локальный чат-бот Chat with RTX, работающий на персональном компьютере пользователя.

Что известно

Chat with RTX позволяет подключать личные данные с жесткого диска для использования с открытыми языковыми моделями вроде Mistral или Llama 2. На основе этих файлов чат-бот может, например, составить резюме или ответить на вопросы пользователя.

Программа поддерживает разнообразные форматы данных, включая .txt, .pdf, .doc/.docx и .xml. По данным NVIDIA, индексация и загрузка необходимых файлов занимает считанные секунды. Затем контекстная информация из документов интегрируется для выдачи более релевантных ответов.

Также Chat with RTX поддерживает интеграцию с видео и плейлистами YouTube. Пользователь может указать ссылку на ролик, и чат-бот проанализирует его содержание, чтобы опираться на эти знания при поиске ответов. 

Chat with RTX работает локально без доступа к интернету, что гарантирует конфиденциальность данных и учет персонального контекста владельца ПК. Это отличает его от облачных чат-ботов, передающих запросы на удалённые серверы.

Пока что это демо-версия продукта, так что разработчики предупредили о наличии ошибок. Для запуска  Chat with RTX требуется видеокарта GeForce RTX серии 30 и выше, а также минимум 8ГБ VRAM.

Источник: Engadget, NVIDIA

Подписывайтесь на наш нескучный канал в Telegram, чтобы ничего не пропустить.

Поделиться