NVIDIA heeft een chatbot uitgebracht die rechtstreeks op de pc van een gebruiker draait
NVIDIA
NVIDIA heeft Chat with RTX onthuld, een lokale chatbot die draait op de pc van de gebruiker.
Dit is wat we weten
Chat met RTX maakt het mogelijk persoonlijke gegevens van een harde schijf aan te sluiten voor gebruik met open taalmodellen zoals Mistral of Llama 2. Op basis van deze bestanden kan de chatbot bijvoorbeeld een CV samenstellen of vragen van de gebruiker beantwoorden.
Het programma ondersteunt verschillende dataformaten, waaronder .txt, .pdf, .doc/.docx en .xml. Volgens NVIDIA duurt het enkele seconden om de benodigde bestanden te indexeren en te downloaden. Contextuele informatie uit de documenten wordt vervolgens geïntegreerd om relevantere antwoorden te geven.
Chat met RTX ondersteunt ook integratie met YouTube-video's en afspeellijsten. De gebruiker kan een link naar een video opgeven en de chatbot zal de inhoud analyseren om uit deze kennis te putten bij het zoeken naar antwoorden.
Chat met RTX draait lokaal zonder internettoegang, wat de privacy van gegevens garandeert en rekening houdt met de persoonlijke context van de pc-eigenaar. Dit onderscheidt het van cloud-gebaseerde chatbots die verzoeken doorsturen naar externe servers.
Voorlopig is dit een demoversie van het product, dus de ontwikkelaars hebben gewaarschuwd voor bugs. Chat with RTX vereist een grafische kaart uit de GeForce RTX 30-serie of hoger en minimaal 8 GB VRAM.