NVIDIA pristatė naują funkciją „Chat with RTX“, siūlančią alternatyvą naudotojams, kuriems nepatinka internetiniai pokalbiai su dirbtiniu intelektu. Šis dirbtinio intelekto pokalbių robotas veikia lokaliai naudodamas „GeForce RTX 30“ ir „GeForce RTX 40“ vaizdo plokščių „Tensor“ branduolių skaičiuojamąją galią per „TensorRT-LLM“ ir „Retrieval Augmented Generated“ (RAG) programinę įrangą.
NVIDIA „Chat with RTX“ yra skirtas tam, kad kiekvienas galėtų išnaudoti savo vaizdo plokščių galią dirbtinio intelekto užduotims atlikti. Dažniausiai matėme, kaip dirbtinis intelektas atlieka šaunius dalykus su vaizdais ir vaizdo įrašais, tačiau iki šiol pokalbiai tarsi įstrigdavo dideliuose duomenų centruose, nes tiems sudėtingiems dirbtinio intelekto modeliams su daugybe kintamųjų reikėjo išteklių.
Programa „Chat with RTX“ yra daugiau nei paprastas teksto generatorius, ji gali pasiekti įvairius failų formatus, įskaitant tekstą, pdf, doc/docx ir xml. Atsakymams generuoti ji naudoja populiarių didžiųjų kalbos modelių, tokių kaip „Mistral“ ar „Llama2“, galimybes, taip pat gali naudoti interneto išteklius, pavyzdžiui, „YouTube“ vaizdo įrašus.
Šiuo metu NVIDIA patvirtina palaikanti tik „RTX 30“ ir „RTX 40“ serijas, apie „RTX 20“ seriją neužsimenama.
