İşte Kendi Sansürsüz Yerel GPT Benzeri Chatbot'unuzu Nasıl Kuracağınız

Temel Çıkarımlar

Sansürsüz yanıtlar için GPT4All'ı kullanarak verileri gizli tutun.
İndirmesi kolaydır, ancak yeterli alana sahip olduğunuzdan emin olun.
Modelleri güncelleyerek ve belgeleri kategorilere ayırarak yerel sohbet robotunu etkili bir şekilde çalıştırın.

Yapay zeka birçok insan için harika bir araçtır ancak ücretsiz modellerde, bazı bağlamlarda kullanımı zorlaştıran bazı kısıtlamalar vardır. İşte yerel makinenize sansürsüz GPT benzeri bir Chatbot kurmanın kolay bir yolu.

Neden Yerel GPT Benzeri Bir Bot Seçtim?

Bir süredir ChatGPT kullanıyorum ve hatta daha önce motorla kodlanmış bir oyunun tamamını yapmıştım. Ancak bu sürüm için yalnızca çevrimiçi olan GPT motorunu kullandım ve yanıtlarının biraz sınırlı olduğunu fark ettim. Gelecekteki projeler için bir çözüm ararken, ev makinenizde LLM'leri özel olarak çalıştırma kodunu içeren bir GitHub projesi olan GPT4All ile karşılaştım. Öncelikle birkaç nedenden dolayı yüklemeye karar verdim:

Verilerim gizli kalıyor, dolayısıyla OpenAI'nin modelde kullandığım herhangi bir veriyi toplaması konusunda endişelenmeme gerek yok.
Yanıtlar OpenAI'nin sansür yönergelerine göre filtrelenmez.
Nasıl yazacağıma ve düşüneceğime dayalı olarak bana daha özel yanıtlar vermek için yerel Yüksek Lisans'ı kişisel belgelerle birlikte kullanabilirim.
Bağlantım kesilirse yerel makinemde hâlâ ihtiyacım olan her şey için kullanabileceğim bir Yüksek Lisans diplomam var.

Eğer siz de benim gibiyseniz ve favori LLM'nizin kendi kendini sansürlemeyen yerel bir versiyonunu istiyorsanız, bunu nasıl yapacağınızı burada bulabilirsiniz.

GPT4All'ı indirin

Buna başlamak, paketi GPT4All hızlı başlangıç sitesinden indirmek kadar basittir. Paketi indirmek basittir ve kurulumu çok kolaydır. Herhangi bir model olmadan temel uygulama için yaklaşık 1 GB depolama alanına ihtiyacınız olacağını unutmayın. Kurulumunuz için bir konum seçtikten sonra, deponun tüm dosyaları indirmesini beklemeniz gerekecektir.

Nomic'in geliştirme şekli sayesinde kurulum en yaygın işletim sistemlerinde çalışacak. Hızlı başlangıç sitesinde Windows'un yanı sıra Linux ve macOS için de dağıtımlar var. Kurulumdan önce dikkat etmeniz gereken tek şey alan gereksinimidir.

GPT4All'ı çalıştırma

Kurulumu tamamladıktan sonra GPT4All'ı çalıştırmak uygulamayı aramak kadar basittir. Başlatma, bize yerel belgeleri beslemek veya yerleşik modelle sohbet etmek gibi birkaç seçenek sunar. Pencerenin sol tarafında daha önce yaptığımız diğer sohbetlere erişebilir ve yerel AI sohbet robotumuzu güncellemek için kullandığımız yerel belgelere göz atabiliriz. Ancak burada sahip olduğunuz en önemli şey modeller sekmesidir.

Varsayılan olarak hiçbir model kurulu olmadan başlarsınız, ancak tamamen ücretsiz olarak indirebileceğiniz ve kullanabileceğiniz çok çeşitli modellere erişiminiz olduğunu hemen fark edeceksiniz. Bu boş sohbet robotunu gerçekten muhteşem bir şeye nasıl güncelleyeceğinize bakalım.

Yerel Chatbotunuz İçin Yeni Modeller Alınıyor

Ekranın sol üst köşesindeki modeller sekmesi, mevcut modelleri taramanıza olanak tanıyan bir alan açacaktır. Her modelin, modelin ne sunduğunu ve neye uygun olduğunu size söyleyen bir tanımlayıcısı olacaktır. Ayrıca, model kurulumu için ihtiyaç duyacağınız boyut (2 GB'tan 7 GB'a kadar değişen) hakkında da size bir fikir verecektir.

Tamamen çevrimdışı bir modele yöneleceğimiz için Mistral (HuggingChat ile ünlü) modelini kullanmanızı öneririm. Neden gerçek ChatGPT kullanmaktan kaçınılmalıdır? Nedenlerini açalım.

Öncelikle ChatGPT 4, ücretini ödemeniz gereken bir API erişim anahtarı gerektirir. 3.5 modeli ücretsiz olarak mevcuttur ancak işleme kapsamı sınırlıdır. GPT4All ayrıca kullanıcıların API erişiminin gücünden yararlanmasına da olanak tanır, ancak yine bu, modelin OpenAI'ye hızlı veri göndermesini de içerebilir. Yerel belgelere yalnızca siz erişebileceksiniz. OpenAI, API aracılığıyla topladığı hiçbir verinin LLM'yi eğitmek için kullanılmayacağını iddia ediyor, ancak sahip olduğunuz tek garanti şirketin sözüdür.

ChatGPT en tanınmış sohbet robotlarından biri olmasına rağmen kullanabileceğiniz tek yapay zeka motoru değildir. Mevcut modellerin çok yönlülüğü nedeniyle, GPT benzeri yerel sohbet robotunuz için ChatGPT'yi kullanmakla sınırlı değilsiniz.

Llama3 Instruct, Mistral ve Orca gibi modeller verilerinizi toplamaz ve genellikle size yüksek kaliteli yanıtlar verir. Tercihlerinize bağlı olarak bu modeller ChatGPT'den daha iyi seçenekler olabilir. Yapılacak en iyi şey, hangi modellerin ihtiyaçlarınıza uygun olduğunu denemek ve belirlemektir. Modeli saklamak için yine de alana ihtiyacınız olacağını unutmayın, bu nedenle yalnızca bir model kullanıyorsanız makinenizde birden fazla model bulundurmayın.

Yerel Dokümanlara Erişimi Ayarlayın

Belge oluşturmanızda size yardımcı olması veya başka konularda size rehberlik etmesi için yerel sohbet robotunuzu kullanmayı planlıyorsanız, öncelikle bir belge koleksiyonu oluşturmanız gerekir. Neyse ki GPT4All bunu kolaylaştırıyor. Modelin erişmesini istediğiniz tüm belgeleri erişimi kolay bir klasöre koyun ve "Koleksiyon Ekle" düğmesini kullanarak motoru klasöre yönlendirin. İşlem süresi, klasördeki belge miktarına göre değişecektir ancak çok uzun sürmemelidir.

Yerel belge klasörünüzü ekledikten sonra, sohbet robotunuz belgelere erişebilecek, bunları okuyabilecek ve sorduğunuz her konuda size tavsiyede bulunabilecektir. Belirli bir konu hakkında bilgi edinmek istiyorsanız ancak bir kitap ansiklopedisini inceleyecek zamanınız yoksa bu oldukça faydalıdır. İçerikle sohbet etmek ve ondan istediğinizi elde etmek çok daha verimlidir.

Yerel Chatbotunuzu Etkili Kullanmaya Yönelik İpuçları

Chatbot'lar yalnızca onları yaptığınız kadar faydalıdır. Çevrimdışı bir sohbet robotunun yeni kullanıcılarının bilmesi gereken birkaç şey olduğunu buldum.

Henüz bahsetmediğim en önemli şeylerden biri GPT4All'in minimum 8GB RAM ile çalışmasıdır. Botu bundan daha düşük bir değerde çalıştırmayı deneyebilirsiniz, ancak bu kesinlikle önerilmez.

Farklı belge kategorileri için ayrı koleksiyonlar oluşturabilirsiniz. Örneğin, sıradan bir proje için kullandığınız ve profesyonel olarak kullandığınız bir dizi belgeniz varsa, bot ihtiyacınıza göre iki yanıt stili geliştirebilir. Çakışmayı önlemek için her belge koleksiyonu ayrı ayrı işlenebilir.

Son olarak modellerinizi güncel tutmayı unutmayın.

Daha verimli chatbot kullanımı için arada sırada güncellenen modelleri kontrol etmelisiniz. Daha yeni modeller güncellenmiş kullanım senaryolarıyla birlikte gelebilir; bu nedenle sürüm notlarını okumak, bunları yapmalarını istediğiniz şeye uyarlamanıza yardımcı olacaktır. Yeni bir model kullanıyorsanız belgeleri bu modeli kullanarak yeniden işlemeniz gerekeceğini unutmayın. Eski modellerle geriye dönük uyumluluk yoktur.

Çok Çeşitli Durumlar İçin İyi Bir Araç

Sohbet robotları öğrenmeyi hızlandırmanın veya roman yazmak gibi yaratıcı girişimlere yardımcı olmanın güçlü yolları olabilir. Ancak bunlar hâlâ yalnızca birer araçtır ve yalnızca üzerinde çalıştıkları veriler ve işlemi gerçekleştiren modeller kadar iyidirler. Yerel bir sohbet robotuna sahip olmak, size botun erişebildiği ve öğrendiği verileri kontrol etme gücü verir. Ayrıca çevrimiçi modellerden alacağınızdan daha spesifik yanıtlar sağlar. Onları güncel tuttuğunuzda harika yardımcılar olarak hizmet edeceklerdir.