Nvidia, Gen AI uygulamalarını hızlandırmak için bir dizi 'NIM' duyurdu
Çip devi ayrıca hizmet olarak çıkarım için Hugging Face ile ortaklık kurduğunu da duyurdu.
NIM yapay zeka mikro hizmetleri için Nvidia kahraman grafiği.
Çip devi Nvidia Pazartesi günü, yıllık SIGGRAPH bilgisayar grafikleri konferansının başlangıcında, çok sayıda işlev ve sektöre yönelik "NIM" kapsayıcı yazılımı için bir dizi teklifi ve programları çalıştırmak için "Çıkarım" adı verilen bir bulut hizmetini duyurdu. -hizmet olarak", geliştirici araçları sitesi Hugging Face ile ortaklaşa geliştirildi.
Yeni NIM'ler, "yardımcı pilot" olarak kullanım için optimize edilmiş yapay zeka modellerini çalıştırmak ve büyük dil modellerini harici veritabanlarına bağlamanın giderek daha popüler bir yolu olan erişimle artırılmış nesil veya "RAG" altyapısıyla etkileşimde bulunmak için önceden paketlenmiş yazılımlar içeriyor ve uygulamalar.
Nvidia'nın üretken yapay zeka yazılım ürün yönetiminden sorumlu başkan yardımcısı Kari Briski, bir basın toplantısında, Nvidia'nın bir yıl önce birkaç düzine NIM'den oluşan listeyi farklı endüstriler ve kullanım senaryolarında yüzden fazla NIM'e genişlettiğini söyledi.
NIM'ler Google, Meta, Microsoft ve Snowflake dahil olmak üzere "model ortaklarından en iyi seçilmiş modelleri" ve "ticari üretim için uygun lisanslarla" açık kaynaklı modelleri paketliyor.
(Bir "Yapay Zeka modeli", bir Yapay Zeka programının işleyişine ilişkin temel unsurlar olan çok sayıda sinir ağı parametresini ve aktivasyon fonksiyonlarını içeren bir Yapay Zeka programının parçasıdır.)
Nvidia'nın yeni NIM'leri arasında, Meta'nın geçen hafta tanıtılan Llama 3.1 dil modeli ve Nvidia ile Fransız yapay zeka şirketi Mistral AI ile ortaklaşa geliştirilen Mistral NeMo 12B gibi açık kaynaklı yapay zeka modellerini çalıştıranlar yer alıyor. Ayrıca, konuşma ekleyerek sohbet robotlarını "canlandırmayı" amaçlayan ve otomatik konuşma tanıma için Parakeet modeli için tasarlanmış, Nvidia ve yapay zeka girişimi Suno.ai tarafından geliştirilen yeni bir NIM de var.
Diğer NIM'ler robotik ve dijital biyolojiye odaklanıyor. Nvidia'nın ayrıca "açık evrensel sahne açıklaması" veya farklı 3D simülasyon ortamları arasında çeviri yapmak için bir standart olan Open USD ile kullanılmak üzere 3D ürün geliştirmeye odaklanan yeni NIM'leri de var. Nvidia, Apple da dahil olmak üzere diğer endüstri devleriyle birlikte Open USD'yi geliştiriyor.
Nvidia ayrıca hazır fotoğraf sağlayıcısı Getty Images ile birlikte grafik oluşturmaya yönelik bir NIM olan Edify NIM'i de yükseltti. Bu yükseltme, Getty'nin üretken AI görüntü oluşturma işleminin oluşturma hızını büyük ölçüde artırır.
İlgili bir notta Nvidia, Apple'ın Vision Pro kulaklığı için "Omniverse" SDK'sının ilk sürümünün mevcut olduğunu duyurdu. Omniverse, Nvidia'nın metaveri versiyonudur ve büyük 3D modellerin ürün geliştiren ekipler arasında paylaşılması gibi üretkenlik görevlerine odaklanmıştır.
Nvidia Inference Microservices'in kısaltması olan NIM, Nvidia'nın AI Enterprise yazılım teklifinin bir yazılım altyapısı parçasıdır ve ilk olarak Ocak 2023'te tanıtılmıştır. NIM, Kubernetes gibi bir konteyner yöneticisi üzerinde çalışan bir uygulama konteynerindeki bir AI modelidir ve geliştiriciler tarafından bir API aracılığıyla erişilir. Yapay zeka modellerinin mikro hizmet versiyonu olarak, uygulamalara kolayca "bırakılması" amaçlanıyor.
Bu arada Briski, Nvidia'nın bir altyapı hizmeti olan DGX Cloud üzerinde çalışan Hugging Face çıkarım hizmetinin performansta çarpıcı bir artış sağladığını söyledi. Örneğin, geçen hafta Meta tarafından tanıtılan yeni Llama 3.1 70B modelinin, çıkarım işlemlerini "hazır" donanımda çalıştırıldığından beş kat daha hızlı gerçekleştirebildiğini söyledi Nvidia.
Briski, Hugging Face'in yaklaşık 750.000 model sunmasına rağmen, hizmet olarak çıkarımın şimdilik Nvidia'nın "NIM-ified", yani şirketin deyimiyle NIM'e dönüştüğü modellerle sınırlı olduğunu söyledi.
Briski, GPU'lara erişimleri olduğu ve Nvidia Enterprise abonelik teklifine abone oldukları sürece, NIM'lerin Hugging Face hizmetinin dışında, müşterinin şirket içi de dahil olmak üzere istediği herhangi bir ortamda çalıştırılabileceğini söyledi. Nvidia Enterprise aboneliğinin GPU başına yıllık maliyeti 4.500 ABD dolarıdır.