NVIDIA'nın Yeni Yapay Zekalı Chatbot'u Buluta Değil Yerel Dosyalara Güveniyor
Chat With RTX LLM yerel olarak çalışır ve sorulara kişiselleştirilmiş yanıtlar sağlar.
Uyumlu donanıma sahip olanlar artık yerel dosyaları veri kümesine dönüştüren bir yapay zeka sohbet robotu olan Chat With RTX'i yükleyebilir. Chat With RTX uygulaması bir "teknoloji demosu" olarak kabul edilir, ancak metin tabanlı dosyalardan bilgi alma, özetleme ve sentezleme konusunda etkilidir.
Chat With RTX özünde belgelerinizi ve notlarınızı inceleyen kişisel bir asistandır. Yazdığınız, indirdiğiniz veya başkalarından aldığınız dosyalar arasında manuel olarak arama yapma zahmetinden sizi kurtarır. Chat With RTX'ten uzun bir teknik belgeden bir parça bilgi almasını isteyebilirsiniz, ancak bunu "Ortağım Las Vegas'tayken hangi restoran önerdi?" gibi gündelik soruları yanıtlamak için de kullanabilirsiniz.
Kişiselleştirilmiş Yüksek Lisans ayrıca YouTube videolarından transkriptleri de alabilir. Bir ahşap işleme projesi için yazdırılabilir adım adım talimatlar istiyorsanız, bir YouTube eğitimi bulmanız, URL'yi kopyalamanız ve Chat With RTX'e bağlamanız yeterlidir. Bu, bağımsız YouTube videoları ve oynatma listeleriyle çalışır.
Chat With RTX yerel olarak çalıştığı için kişisel verilerinizi buluta göndermeden hızlı sonuçlar üretir. LLM yalnızca kullanıcı tarafından seçilen dosya veya klasörleri tarayacaktır. HuggingFace ve OpenAI'ninkiler de dahil olmak üzere diğer LLM'lerin yerel olarak çalışabildiğini belirtmeliyim. RTX ile Sohbet iki nedenden dolayı dikkate değerdir; herhangi bir uzmanlık gerektirmez ve geliştiricilerin kendi yapay zeka uygulamalarını oluşturmak için kullanabileceği NVIDIA'nın açık kaynaklı TensorRT-LLM RAG yeteneklerini gösterir.
CES 2024'te Chat With RTX'i uygulamalı olarak denedik. Bu kesinlikle bir "teknoloji demosu" ve bilinçli kullanılması gereken bir şey. Ama yine de etkileyici. Chat With RTX'in bilgi alma veya belge özetleme yetenekleriyle ilgilenmiyor olsanız bile, bu, yerel olarak işletilen LLM'lerin insanların iş akışlarına nasıl sinsice yaklaşabileceğinin harika bir örneğidir.
NVIDIA'nın web sitesinde belirtilmese de RTX ile Sohbet, yaratıcı isteklere ilginç yanıtlar üretebilir. Yüksek Lisans'tan bir YouTube oynatma listesinin transkriptlerine dayalı bir hikaye yazmasını istedik ve gerçekçi bir tonda da olsa bu isteğimizi yerine getirdi. İnsanların bu uygulamayı nasıl deneyeceklerini görmek beni heyecanlandırıyor.
Chat With RTX'i NVIDIA web sitesinden yükleyebilirsiniz. Bu uygulamanın en az 8 GB VRAM'e sahip bir RTX 30 serisi veya 40 serisi GPU gerektirdiğini unutmayın. NVIDIA ayrıca RTX ile Sohbet'e benzer uygulamalar geliştirmek isteyenler için TensorRT-LLM RAG açık kaynaklı referans projesi de sunuyor.
Kaynak: NVIDIA