NVIDIA ha rilasciato un chatbot che viene eseguito direttamente sul PC dell'utente
NVIDIA
NVIDIA ha presentato Chat with RTX, un chatbot locale che viene eseguito sul computer dell'utente.
Ecco cosa sappiamo
Chat with RTX consente di allegare i dati personali da un disco rigido per utilizzarli con modelli linguistici aperti come Mistral o Llama 2. Sulla base di questi file, il chatbot può, ad esempio, costruire un CV o rispondere alle domande dell'utente.
Il programma supporta una varietà di formati di dati, tra cui .txt, .pdf, .doc/.docx e .xml. Secondo NVIDIA, l'indicizzazione e il download dei file necessari richiedono pochi secondi. Le informazioni contestuali dei documenti vengono poi integrate per fornire risposte più pertinenti.
Chat with RTX supporta anche l'integrazione con i video e le playlist di YouTube. L'utente può fornire un link a un video e il chatbot analizzerà il contenuto per attingere a questa conoscenza durante la ricerca delle risposte.
Chat with RTX funziona localmente senza accesso a Internet, il che garantisce la privacy dei dati e tiene conto del contesto personale del proprietario del PC. Ciò lo differenzia dai chatbot basati su cloud che inoltrano le richieste a server remoti.
Per ora si tratta di una versione dimostrativa del prodotto, quindi gli sviluppatori hanno avvertito della presenza di bug. Chat with RTX richiede una scheda grafica GeForce RTX serie 30 o superiore e un minimo di 8 GB di VRAM per funzionare.