NVIDIA випустила чат-бота, який працює просто на ПК користувача
NVIDIA
Компанія NVIDIA представила локальний чат-бот Chat with RTX, що працює на персональному комп'ютері користувача.
Що відомо
Chat with RTX дозволяє підключати особисті дані з жорсткого диска для використання з відкритими мовними моделями на кшталт Mistral або Llama 2. На основі цих файлів чат-бот може, наприклад, скласти резюме або відповісти на запитання користувача.
Програма підтримує різноманітні формати даних, зокрема .txt, .pdf, .doc/.docx і .xml. За даними NVIDIA, індексація та завантаження необхідних файлів триває лічені секунди. Потім контекстна інформація з документів інтегрується для видачі більш релевантних відповідей.
Також Chat with RTX підтримує інтеграцію з відео та плейлистами YouTube. Користувач може вказати посилання на ролик, і чат-бот проаналізує його зміст, щоб спиратися на ці знання під час пошуку відповідей.
Chat with RTX працює локально без доступу до інтернету, що гарантує конфіденційність даних і врахування персонального контексту власника ПК. Це відрізняє його від хмарних чат-ботів, що передають запити на віддалені сервери.
Поки що це демо-версія продукту, тож розробники попередили про наявність помилок. Для запуску Chat with RTX потрібна відеокарта GeForce RTX серії 30 і вище, а також мінімум 8ГБ VRAM.