NVIDIA a lancé un chatbot qui fonctionne directement sur le PC de l'utilisateur.
NVIDIA
NVIDIA a dévoilé Chat with RTX, un chatbot local qui fonctionne sur l'ordinateur personnel de l'utilisateur.
Voici ce que nous savons
Chat with RTX permet d'attacher des données personnelles à partir d'un disque dur pour les utiliser avec des modèles de langage ouverts comme Mistral ou Llama 2. Sur la base de ces fichiers, le chatbot peut, par exemple, créer un CV ou répondre aux questions de l'utilisateur.
Le programme prend en charge une variété de formats de données, dont .txt, .pdf, .doc/.docx et .xml. Selon NVIDIA, l'indexation et le téléchargement des fichiers nécessaires ne prennent que quelques secondes. Les informations contextuelles des documents sont ensuite intégrées pour fournir des réponses plus pertinentes.
Chat with RTX prend également en charge l'intégration des vidéos et des listes de lecture YouTube. L'utilisateur peut fournir un lien vers une vidéo et le chatbot analysera le contenu pour s'appuyer sur ces connaissances lors de la recherche de réponses.
Chat with RTX fonctionne localement sans accès à l'internet, ce qui garantit la confidentialité des données et prend en compte le contexte personnel du propriétaire du PC. Cela le différencie des chatbots basés sur le cloud qui relaient les demandes vers des serveurs distants.
Pour l'instant, il s'agit d'une version de démonstration du produit, et les développeurs ont donc prévenu qu'il y aurait des bogues. Chat with RTX nécessite une carte graphique GeForce RTX 30-series ou supérieure et un minimum de 8 Go de VRAM pour fonctionner.