Tempo avevamo detto che il 2024 sarà l’anno dei PC a intelligenza artificiale. Per certi versi siamo stati quasi profetici visto che NVIDIA sta proponendo un tool per consentire ai PC con le sue schede GPU di eseguire offline un chatbot basato sull’intelligenza artificiale: Chat with RTX.
Si tratta di uno strumento che permette di personalizzare un modello GenAI in stile ChatGPT, collegandolo a documenti, file e note. Vediamo però come funziona.
NVIDIA, come funziona il chatbot Chat with RTX
NVIDIA punta non solo ai chip custom, ma anche al suo prodotto di punta: le GPU per la grafica. Per questo sta rilasciando uno strumento che consente ai possessori di schede GeForce RTX serie 30 e serie 40 di avere un proprio chatbot AI offline: Chat with RTX.
Come impostazione predefinita il chatbot di NVIDIA adotta il modello open source di AI Mistral, ma supporta altri modelli basati su testo, incluso Meta’s Llama 2.
Come riporta Tech Crunch, si potrebbe chiedere al chatbot qual è stato il ristorante che mi avevano consigliato tempo fa. Allora Chat eseguirà la scansione dei file locali a cui l’utente punta e fornirà la risposta con il contesto.
Ma attenzione. Nvidia avverte che il download del tool consumerà una discreta quantità di spazio di archiviazione. A seconda del modello selezionato, si richiede da 50 GB a 100 GB di spazio sull’hard disk: praticamente quanto un videogioco di ultima generazione.
Tutti i limiti del nuovo chatbot AI
Malgrado l’innovazione e le particolarità di questo chatbot AI, Chat with RTX non è esente da limitazioni. Precisa Tech Crunch, attualmente funziona con i formati testo, PDF, .doc, .docx e .xml.
Di contro, basta l’URL di una playlist di YouTube per caricare le trascrizioni dei video nella playlist, consentendo a qualunque modello selezionato di interrogarne i contenuti.
Altro piccolo “contro” è il fatto che il chatbot non ricorda il contesto. Ovvero che non terrà conto delle domande precedenti quando risponde alle domande successive. Se prima chiedi come si chiama il cavallo bianco di Napoleone, e poi gli chiedi del colore, il chatbot non saprà che stai parlando di cavalli.
Inoltre, la pertinenza delle risposte dell’app può essere influenzata da una serie di fattori, come:
- la formulazione delle domande,
- le prestazioni del modello selezionato,
- la dimensione del set di dati di messa a punto.
Se chiedi fatti trattati in un paio di documenti probabilmente produrrà risultati migliori rispetto a chiedere un riassunto di un documento o di una serie di documenti.
