Mac'inizde veya PC'nizde düzinelerce AI modelini nasıl çalıştırabilirsiniz - üçüncü taraf buluta gerek yok

Meta'nın Llama 3.1'i gibi gelişmiş LLM'leri Mac, Windows veya Linux sisteminizde çalıştırmak size veri gizliliği, özelleştirme ve maliyet tasarrufu sunar. İşte bunu nasıl yapacağınız.

Yapay zekadaki (AI) hızlı gelişmelerle birlikte, Meta'nın Llama 3.1'i gibi gelişmiş modellerin kişisel bilgisayarlarda yerel olarak çalıştırılması giderek daha popüler hale geliyor. Yerel PC'nizde veya Mac'inizde bir LLM çalıştırmak, veri gizliliğinden ödün vermeden deneme ve geliştirme için bir sanal alan sağlar ve model kullanımında daha fazla esneklik sağlar.

Mac, Linux ve Windows'ta Llama 3.1'in yanı sıra Google Gemma2 gibi diğer birçok modeli kurup çalıştırmanıza yardımcı olacak kısa bir kılavuzu burada bulabilirsiniz. Ayrıca özel olarak barındırılan modellerin faydalarını da tartışacağım.

Neden farklı açık kaynaklı modeller geliştirip bunlara karşı test yapmalısınız?

Ollama/Open WebUI'da çalışan Llama 3.1 8b

Özel olarak barındırdığınız ve çalıştırdığınız çeşitli açık kaynak modellerine göre geliştirme ve test yapmak, OpenAI, Microsoft CoPilot, Meta AI ve Google Gemini gibi sağlayıcıların yalnızca genel olarak barındırılan büyük dil modellerine (LLM'ler) güvenmeye kıyasla çeşitli avantajlar sunar.

Veri gizliliği: Herkese açık olarak barındırılan Yüksek Lisans'lar, verilerin internet üzerinden gönderilmesini gerektirir; bu da gizlilik ve güvenlik endişelerini artırabilir. Modelleri yerel olarak çalıştırmak, hassas verilerin kendi donanımınızda kalmasını sağlar.

Özelleştirme: Açık kaynaklı modeller daha fazla özelleştirmeye olanak tanır. Geliştiriciler modellerde ince ayar yapabilir, hiperparametreleri ayarlayabilir ve mimariyi belirli kullanım durumlarına daha iyi uyacak şekilde değiştirebilir.

Maliyet kontrolü: Bulut tabanlı yapay zeka hizmetleri, özellikle büyük ölçekli uygulamalar için maliyetli olabilir. Modellerin yerel olarak barındırılması, devam eden API kullanımını ve veri aktarımı masraflarını önemli ölçüde azaltabilir.

Çevrimdışı yetenek: Yerel modeller internet bağlantısı olmadan kullanılabilir; bu, yüksek düzeyde kullanılabilirlik gerektiren uygulamalar için veya güvenilir olmayan internet erişimi olan alanlarda gereklidir.

Esneklik ve deneme: Kendi modellerinizi barındırmak, farklı algoritmalar ve yapılandırmalarla denemeler yapmanıza olanak tanıyarak yenilikçi çözümlere ve yapay zeka teknolojilerine ilişkin daha derin bir anlayışa yol açar.

Kullanım politikalarından özgürlük: LLM'leri yerel olarak çalıştırmak, OpenAI, Microsoft, Meta ve Google gibi şirketlerin kullanım politikalarının sizi kısıtlamadığı anlamına gelir. İstediğiniz komutları kullanabilir ve bu hizmetlerin kısıtlayabileceği veriler üzerinde eğitilmiş, kısıtlamaları kaldırılmış değiştirilmiş LLM'leri kullanabilirsiniz.

Ollama'ya Giriş

Ollama, geliştiricilerin ve araştırmacıların makine öğrenimi modellerini kendi donanımlarında yerel olarak kolayca çalıştırıp yönetmelerine yardımcı olmak için tasarlanmış çok yönlü ve MIT lisanslı bir açık kaynaklı platformdur. Yapay zeka uygulamaları üzerinde veri gizliliği, esneklik ve kontrol sağlayan araçlar sağlamayı amaçlayan yapay zeka meraklılarından ve mühendislerden oluşan bir ekip tarafından geliştirilmiştir. Ollama, çeşitli yapay zeka modellerini destekleyerek, üçüncü taraf bulut hizmetlerine güvenmeden yapay zeka teknolojilerini keşfetmek ve kullanmak isteyenler için onu değerli bir kaynak haline getiriyor.

İndirilebilecek bazı örnek modeller şunlardır:

Ollama'nın GitHub sayfasına göre, 7B modellerini çalıştırmak için en az 8 GB, 13B modellerini çalıştırmak için 16 GB ve 33B modellerini çalıştırmak için 32 GB RAM'iniz olmalıdır.

Test sistemlerimiz

Ollama'yı, mevcut MacBook Pro modellerinin birkaç nesil gerisinde olan, 32 GB ve 64 GB RAM'e sahip M1 Pro ve M1 Ultra Mac'leri kullanarak test ettim. Buna rağmen, yalnızca CPU yardımını kullanarak, Meta'nın Llama 3.1 ve Google'ın Gemma2'sinin 8B-10B parametre modellerinin yanı sıra Ollama'nın web sitesindeki özel olarak eğitilmiş çeşitli varyantları kabul edilebilirden daha iyi bir performansla başarıyla çalıştırdık.

Ancak bu sistemleri kullanırken 70B parametre değişkeninde önemli performans sorunları yaşadım. Daha yeni donanımların bu modelleri, özellikle de Nvidia ve AMD GPU'ların etkinleştirdiği Linux PC'lerle daha verimli bir şekilde işleyebileceğinden eminim.

Adım adım kurulum

Ollama'yı indirin ve yükleyin

• Ollama'nın indirme sayfasına gidin ve işletim sisteminize (MacOS, Linux, Windows) uygun yükleyiciyi indirin.
• Özel işletim sisteminiz için sağlanan kurulum talimatlarını izleyin.

8B parametresi Llama 3.1 Modelini yükleyin

Sohbet işlevine sahip Ollama komut satırı arayüzü.

• Ollama'da Llama 3.1 kitaplık sayfasına gidin ve 8B Llama 3.1 modelini yükleme komutunu kopyalayın: ollama run llama3.1:8b
• Bir terminal (MacOS, Linux) veya Komut İstemi/PowerShell (Windows) açın, yukarıdaki komutu yapıştırın ve tuşuna basın.
• Bu komut Llama 3.1'i çalıştırmaya başlayacaktır. Terminalde daha sonra modelin işlevselliğini test etmek için sohbet sorguları düzenleyebilirsiniz.

Yüklü modelleri yönet

• Modelleri listele: Sisteminizde yüklü tüm modelleri görmek için ollama list komutunu kullanın.
• Modelleri kaldır: Bir modeli kaldırmak için ollama rm komutunu kullanın. Örneğin, 8B parametresi Llama 3.1'i kaldırmak için ollama rm llama3.1:8b komutunu kullanırsınız.
• Yeni modeller ekle: Yeni bir model eklemek için Ollama kitaplığına göz atın ve ardından sisteminize yüklemek için uygun ollama run komutunu kullanın.

WebUI ekleme

Docker Desktop'ı yükleyin

• Docker'ın Başlarken sayfasını ziyaret edin ve işletim sisteminiz (MacOS, Linux, Windows) için Docker Desktop'ı indirin.
• İşletim sisteminize özel kurulum talimatlarını izleyin ve kurulumdan sonra Docker'ı başlatın.

Open WebUI'yi yükleyin

Bir terminal (MacOS, Linux) veya Komut İstemi/PowerShell (Windows) açın ve Open WebUI'yi yüklemek için aşağıdaki komutu çalıştırın:
docker run -d -p 3000:8080 --add-host=host.docker .internal:host-gateway -v open-webui:/app/backend/data --name open-webui --her zaman yeniden başlat ghcr.io/open-webui/open-webui:main

Açık WebUI'ye erişin

Docker Masaüstünde çalışan WebUI'yi açın

• Docker Desktop'ı açın ve kontrol paneline gidin.
• WebUI'yi Aç kapsayıcısını bulun ve WebUI'yi tarayıcınızda açmak için Bağlantı Noktası altındaki bağlantıya tıklayın.

Open WebUI hesabınızı oluşturun ve oturum açın

Open WebUI'da bir model seçme

• Henüz bir Open WebUI hesabınız yoksa bir tane oluşturun.
• WebUI aracılığıyla hesabınıza giriş yapın.

IDE'ler ve API'ler ile entegrasyon

Ollama, AI modelleriyle kusursuz etkileşim sağlayarak geliştirme iş akışını geliştiren API'ler kullanılarak çeşitli Entegre Geliştirme Ortamlarına (IDE'ler) entegre edilebilir. Bu entegrasyona yönelik güçlü araçlardan biri, Ollama API'sinden yararlanan açık kaynak kod asistanı Continue'dur.

IDE entegrasyonu için Devam'ı kullanma

• Ollama'nın çalıştığından ve erişilebilir olduğundan emin olun.
• Continue'yu tercih ettiğiniz IDE'ye yüklemek için Ollama Continue blog talimatlarını izleyin.
• Continue ve Ollama API ile geliştirme ortamınızda kod önerileri, tamamlamalar ve hata ayıklama yardımı gibi yapay zeka destekli özelliklerden doğrudan yararlanabilirsiniz.

Güçlü GPU'larla ölçeklendirme

Daha zorlu uygulamalar için, özellikle de 70B ve 405B parametreli Llama 3.1 modelleri gibi daha büyük modeller gerektiren uygulamalar için, Ollama'nın güçlü GPU'larla donatılmış Linux tabanlı bir sistemde çalıştırılması önerilir. Bu kurulum, hesaplama yükünü kaldırabilir ve daha hızlı yanıt süreleri sağlayarak kurumsal düzeydeki yapay zeka uygulamaları için uygun hale getirir.

Ollama'yı çalıştırmak amacıyla GPU'ları kullanmak için şu adımları izleyin:

NVIDIA GPU'lar için:

• Sisteminize CUDA ve cuDNN'yi yüklemek için NVIDIA CUDA dokümantasyon talimatlarını izleyin.
• CUDA ve cuDNN'yi yükledikten sonra ortamınızın doğru şekilde yapılandırıldığından emin olun ve ardından aşağıdaki komutu çalıştırın:
  ollama run llama3.1:70b --use-gpu
  

AMD GPU'lar için:

• ROCm'yi sisteminize yüklemek için ROCm belgelerindeki talimatları izleyin.
• ROCm'yi kurduktan sonra ortamınızın doğru şekilde yapılandırıldığından emin olun ve ardından aşağıdaki komutu çalıştırın:
  ollama run llama3.1:70b --use-gpu
  

Bu komutlar Ollama'nın sisteminizdeki mevcut GPU'ları kullanabilmesini sağlayarak büyük modelleri çalıştırmak için gerekli hesaplama gücünü sağlar. Daha ayrıntılı talimatlar için Ollama GPU belgelerine bakın.

Ollama'yı Docker konteynerinde çalıştırmak

Ollama'yı bir kapta çalıştırmayı tercih ediyorsanız yine de GPU desteğinden yararlanabilirsiniz. Bu talimatların şimdilik yalnızca Linux için geçerli olduğunu lütfen unutmayın.

Docker'lı NVIDIA GPU'lar için

• Önceki bölümde olduğu gibi sisteminize CUDA ve cuDNN'yi kurun. Ardından, NVIDIA Container Engine'i sisteminize yüklemek için NVIDIA Docker belgelerindeki talimatları izleyin.
• Ollama'yı Docker kapsayıcısında NVIDIA GPU desteğiyle çalıştırmak için aşağıdaki komutu kullanın:
  docker run --gpus all -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v ollama:/app/backend/data --name ollama --her zaman yeniden başlat ollama/ollama:en son
  

Docker'lı AMD GPU'lar için

• ROCm'yi sisteminize yüklemek için ROCm belgelerindeki talimatları izleyin.
• Ollama'yı Docker kapsayıcısında ROCm desteğiyle çalıştırmak için aşağıdaki komutu kullanın:
  docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm
  

Bu komutlar, Docker konteynerinin sisteminizdeki tüm mevcut GPU'lara erişebilmesini sağlayarak büyük modelleri çalıştırmak için gerekli hesaplama gücünü sağlar. GPU'ları Docker ve Ollama ile kullanma hakkında daha fazla bilgi için GPU'ları Ollama ile kullanma hakkındaki Docker sayfasına bakın.

Çözüm

Meta'nın Llama 3.1'i gibi AI modellerini Mac'inizde veya PC'nizde yerel olarak çalıştırmak, gelişmiş veri gizliliği, daha fazla özelleştirme ve maliyet tasarrufu dahil olmak üzere çok sayıda avantaj sağlar. Bu kılavuzdaki adımları izleyerek gelişmiş yapay zeka modellerini kullanabilir ve gereksinimlerinizi karşılamak için farklı yapılandırmaları test edebilirsiniz. İster geliştirici, ister araştırmacı, ister yapay zeka meraklısı olun, karmaşık modelleri yerel olarak çalıştırma becerisine sahip olmak birçok fırsatın kapısını açar.