NVIDIA har lansert en chatbot som kjører direkte på brukerens PC.
NVIDIA
NVIDIA har avduket Chat with RTX, en lokal chatbot som kjører på brukerens personlige datamaskin.
Dette er hva vi vet
Chat with RTX gjør det mulig å legge til personlige data fra en harddisk for bruk med åpne språkmodeller som Mistral eller Llama 2. Basert på disse filene kan chatboten for eksempel lage en CV eller svare på spørsmål fra brukeren.
Programmet støtter en rekke ulike dataformater, blant annet .txt, .pdf, .doc/.docx og .xml. Ifølge NVIDIA tar det bare noen sekunder å indeksere og laste ned de nødvendige filene. Kontekstuell informasjon fra dokumentene integreres deretter for å gi mer relevante svar.
Chat med RTX støtter også integrering med YouTube-videoer og spillelister. Brukeren kan legge inn en lenke til en video, og chatboten analyserer innholdet og bruker denne kunnskapen når den søker etter svar.
Chat with RTX kjører lokalt uten internettilgang, noe som garanterer personvern og tar hensyn til PC-eierens personlige kontekst. Dette skiller den fra skybaserte chatboter som videresender forespørsler til eksterne servere.
Foreløpig er dette en demoversjon av produktet, så utviklerne har advart mot feil. Chat with RTX krever et grafikkort i GeForce RTX 30-serien eller nyere og minst 8 GB VRAM for å fungere.