Ecco Chat With RTX di Nvidia, al via le prove tecniche di chatbot personalizzato sul tuo Pc

Sappiamo che i più famosi modelli linguistici di grandi dimensioni (Gpt4, Gemini Ultra, Microsoft Copilot,) sono accessibili solo online attraverso il cloud delle rispettive aziende. Sappiamo che posso anche leggere dati e parole sul Web e formulare così risposte alle nostre domande integrando queste infornazioni co i dataset su cui si sono allenati. Esistono però anche Llm (Laege Language Model) on device che si possono consultare offline e che usano la potenza di calcola propria del dispositivo. Chat With RTX di Nvidia è un’app demo che consente di avere un proprio chatbot personalizzato direttamente sul tuo Pc. Presentato a gennaio lo abbiamo provato su un potentissimo Legion Pro 7i è dotato di scheda grafica Nvidia GeForce RTX 4090. Come hanno tenuto a sottolineare da Nvidia si tratta di una demo tech che allo stato attuale serve solo per aiutarci a capire le potenzialità della tecnologia. Tecnicamente unisce RAG (generazione di recupero aumentata), il modello TensorRT-LLM e l’accelerazione delle schede Nvidia più recenti (dalla serie 30 in poi e con almeno 8GB di VRAM). La Rag in particolare è una tecnica di Ai di cui sentiremo molto parlare perché consente a modelli linguistici di grandi dimensioni (LLM) di sfruttare risorse di dati aggiuntive senza bisogno di retraining. Vuole dire che il chatbot può essere “nutrito” con informazione al di fuori del dataset su cui è stato allenato. Da qui la possibilità di personalizzarlo dandogli l’accesso a file in formato pdf, doc/docx e xml presenti nel vostro computer.Il limite dovrebbe essere di 500 Mb di file testuali. Inoltre, è possibile specificare l’URL di una playlist di YouTube e l’app caricherà le trascrizioni dei video nella playlist, consentendoti di interrogare i contenuti trattati.

A cosa serve? in teoria potete dargli da leggere manuali tecnici, guide di centinaia di pagine che potete poi interrogare. Nel corso della mia prova gli ho dato i documenti per una review guide di un videogioco gigante e ha risposto in modo corretto. Va però detto che ad oggi non è un chatbot conversazionale come Gpt4 o Gemini. Commette inprecisioni. Inoltre, per ora è solo in lingua inglese. Se gli date un video di YouTube in italiano fa fatica, è invece più preciso con l’inglese. Come detto è una tech demo che dimostra come avere un LLM locale si traduce in sicurezza e privacy maggiori, perché il modello linguistico di grandi dimensioni (LLM) gira in locale su PC e può essere abbinato a un dataset personalizzato, scelto dall’utente. Si tratta quindi di una soluzione molto sicura rispetto all’utilizzo del dato che resta sulla macchina e non deve essere elaborato su server di terze parti. Per quanto imperfetto ad oggi è già un pezzo concreto del futuro dell’intelligenza generativa, sicuramente per professionisti, artisti e content creator. Ad oggi sfrutta la capacità di due Llm open source come il francese Mistral Ai e Llama2 di Meta. Ma a breve arriverà anche i due chatbot Gemma di Google.