NVIDIA har udgivet en chatbot, der kører direkte på brugerens pc
NVIDIA
NVIDIA har afsløret Chat with RTX, en lokal chatbot, der kører på brugerens personlige computer.
Her er, hvad vi ved
Chat with RTX gør det muligt at vedhæfte personlige data fra en harddisk til brug med åbne sprogmodeller som Mistral eller Llama 2. Baseret på disse filer kan chatbotten f.eks. opbygge et CV eller besvare spørgsmål fra brugeren.
Programmet understøtter en række forskellige dataformater, herunder .txt, .pdf, .doc/.docx og .xml. Ifølge NVIDIA tager det kun få sekunder at indeksere og downloade de nødvendige filer. Kontekstuelle oplysninger fra dokumenterne integreres derefter for at levere mere relevante svar.
Chat med RTX understøtter også integration med YouTube-videoer og playlister. Brugeren kan give et link til en video, og chatbotten vil analysere indholdet for at trække på denne viden, når der søges efter svar.
Chat med RTX kører lokalt uden internetadgang, hvilket garanterer datasikkerhed og tager højde for pc-ejerens personlige kontekst. Det adskiller den fra cloud-baserede chatbots, der videresender forespørgsler til eksterne servere.
Indtil videre er dette en demoversion af produktet, så udviklerne har advaret om fejl. Chat with RTX kræver et GeForce RTX 30-series eller højere grafikkort og mindst 8 GB VRAM for at køre.