Nvidia yapay zeka testlerini geride bırakıyor ancak Intel anlamlı bir rekabet getiriyor

Şirket, Intel'in Gaudi AI hızlandırıcısını temel alarak dahili olarak binlerce çipten oluşan bir küme oluşturduğunu ve bunun Nvidia için ileride daha da büyük bir rekabet olabileceğini söyledi.

Sinir ağlarının eğitiminde çip hızına ilişkin en son kıyaslama testleri, bir endüstri konsorsiyumu olan MLCommons tarafından Salı günü yayınlandı. Geçtiğimiz yıllarda olduğu gibi Nvidia, MLPerf testlerinde de en yüksek puanları aldı.

Rakipleri Google, Graphcore ve Advanced Micro Devices'ın bu sefer başvuru göndermemesi nedeniyle Nvidia'nın sekiz testin tamamındaki hakimiyeti tamamlandı.

Ancak Intel'in Habana işi, Guadi2 çipiyle ciddi bir rekabet yarattı ve şirket, bu sonbahara kadar Nvidia'nın en üst seviye H100 GPU'sunu yenmeyi taahhüt ediyor.

Karşılaştırma testi, Eğitim sürüm 3.0, bilgisayar programı belirli bir görevde gereken minimum doğruluğu elde edene kadar sinir "ağırlıklarını" veya parametrelerini ayarlamanın kaç dakika sürdüğünü rapor eder; bu süreç, bir sinir ağını "eğitmek" olarak adlandırılır. .

Toplamda sekiz ayrı görevden oluşan ana Training 3.0 testi, bir sinir ağının ayarlarının birden fazla deneyle iyileştirilmesi yoluyla ayarlanması için gereken süreyi kaydeder. Bu, sinir ağı performansının bir yarısıdır, diğer yarısı ise bitmiş sinir ağının yeni veriler alırken tahminlerde bulunduğu çıkarımdır. Çıkarım, MLCommons'un ayrı yayınlarında ele alınmaktadır.

MLCommons Salı günü, sunucu bilgisayarları üzerine eğitimin yanı sıra, çok düşük güçlü cihazlarda tahmin yaparken performansı ölçen MLPerf Tiny sürüm 1.1 adlı yardımcı bir kıyaslama testi yayınladı.

Nvidia, sekiz testin tamamında en düşük eğitim süresiyle en üst sırada yer aldı. İki yeni görev eklendi. Bunlardan biri, OpenAI tarafından yapılan GPT-3 büyük dil modelini (LLM) test etmektir. LLMS kullanan üretken yapay zeka, OpenAI'nin aynı Yüksek Lisans üzerine inşa edilen ChatGPT programının popülaritesinden dolayı bir çılgınlık haline geldi. GPT-3 görevinde Nvidia, Nvidia GPU'ların bulut tabanlı örneklerini kiralayan iş ortağı CoreWeave'in yardımıyla kurduğu sistemle en üst sırayı aldı.

Nvidia-CoreWeave sisteminin Colossal Cleaned Common Crawl adı verilen bir veri setini kullanarak eğitilmesi on bir dakikadan az sürdü. Bu sistem 896 Intel Xeon işlemci ve 3.584 Nvidia H100 GPU'dan yararlanıyordu. Sistem, görevleri Nvidia'nın üretken yapay zekaya yönelik NeMO çerçevesini kullanarak gerçekleştirdi.

Eğitim, GPT-3 eğitiminin tamamının bir bölümünde, GPT-3'ün 175 milyar parametreli "büyük" sürümü kullanılarak gerçekleşir. MLCommons, çalışma süresini gönderenler için makul tutmak amacıyla testi tam GPT-3 eğitiminin %0,4'üyle sınırlandırıyor.

Ayrıca bu seferki yenilik, ürün arama ve sosyal medya önerileri gibi şeyler için popüler olan öneri motorlarının genişletilmiş bir versiyonuydu. MLCommons, kullanılan bir terabaytlık veri seti olan eğitim veri setini, Criteo 4TB multi-hot adı verilen dört terabaytlık bir veri seti ile değiştirdi. MLCommons, daha küçük veri kümesinin geçerliliğini yitirmesi nedeniyle yükseltme yapmaya karar verdi.

Kuruluş, "Üretim öneri modellerinin ölçeği (boyut, hesaplama ve bellek işlemleri) artıyor" dedi.

Nvidia'ya karşı rekabet edebilecek tek yapay zeka çipi satıcısı, Gaudi2 hızlandırıcı çipiyle beş başvuru sunan Intel'in Habana'sıydı, ayrıca bilgisayar üreticisi SuperMicro tarafından Habana çipi kullanılarak sunulan bir başvuru da vardı. Bu sistemler toplu olarak sekiz görevin dördünde sunuldu. Her durumda Habana sistemleri en iyi Nvidia sistemlerinin çok altındaydı. Örneğin, soruları yanıtlamak için Google'ın BERT sinir ağını Wikipedia verileri üzerinde eğitmeye yönelik testte Habana, eğitimi tamamlamak için iki dakika sürerken, 3.072 GPU'lu Nvidia-CoreWeave makinesi için sekiz saniye sürerek beşinci sırada yer aldı.

Ancak Intel'in AI ürünleri başkanı Jordan Plawner, ZDNET ile yaptığı bir röportajda, karşılaştırılabilir sistemler için Habana ile Nvidia arasındaki zaman farkının yeterince yakın olduğunu ve birçok şirket için ihmal edilebilir olabileceğini belirtti.

Örneğin, BERT Vikipedi testinde, iki tamamlayıcı Intel Xeon işlemciye sahip 8 parçalı bir Habana sisteminin eğitimi 14 dakikanın biraz üzerinde bir sürede tamamlandı. Bu sonuç, çoğu Nvidia A100 GPU sayısının iki katı olan iki düzine diğer başvurudan daha iyiydi.

Plawner, "Herkesi 8 cihazlı makinelere bakmaya davet ediyoruz" dedi. "Gaudi2 ile önemli bir fiyat avantajımız var; benzer özelliklere sahip A100 ile aynı fiyattayız ve dolar başına daha fazla eğitim sağlıyoruz."

Plawner, Gaudi2'nin Nvidia A100'ün bazı benzer konfigürasyonlarını yenebilmesinin yanı sıra Gaudi2'nin hafif bir dezavantajla çalıştığını da belirtti. Nvidia, MLPerf girişlerini, kayan nokta, 8 bit için "FP-8" adı verilen bir eğitim veri formatı kullanarak gönderirken, Habana, B-float, 16 bit için BF-16 adı verilen alternatif bir yaklaşım kullandı. BF-16'nın yüksek aritmetik hassasiyeti, eğitimin tamamlanma süresi açısından bir miktar engel teşkil etmektedir.

Plawner, bu yılın sonlarında Gaudi2'nin daha yüksek performansa olanak sağlayacağını söylediği FP-8'i kullanacağını söyledi. Hatta Habana'nın performans açısından Nvidia'nın yeni H100 sistemini geçmesine bile olanak tanıyacağını tahmin etti.

Plawner, "Sektörün Nvidia'ya bir alternatife ihtiyacı var" dedi. Müşteriler, geleneksel olarak güvenilen markadan vazgeçme konusunda isteksiz olsalar da, şimdilerde Nvidia'nın parça tedariğinde yaşanan ani bir sıkışıklık nedeniyle buna zorlanıyorlar. CEO Jensen Huang geçen ay Nvidia'nın H100 GPU'lara olan talebi karşılamakta zorlandığını söyledi.

Plawner, ZDNET'e Nvidia arzı eksikliğinden dolayı hayal kırıklığına uğrayan müşterilerini "Artık motive oldular" dedi.

"Onlardan duyduğumuz şey şu; yarın yapmak istedikleri şeyler var, CEO bunu emrediyor ve GPU alamadıkları için bunu yapamıyorlar, nokta."

"İnan bana, [üretken yapay zekaya] harcadıklarından çok daha fazlasını kazanıyorlar. Eğer 50 kişiyi bir Gaudi projesine tam anlamıyla aynı eğitim süresine sahip olacak şekilde yerleştirebilirlerse, eğer cevap şuysa, GPU'm yok, ve bekliyorum ya da Guadi2'm var ve yeni hizmetimi yarın başlatabilirim, onlar da yeni hizmetlerini başlatmak için Gaudi2 satın alacaklar."

Plawner, Intel'in Tayvan Semiconductor'dan sonra dünyanın en büyük ikinci çip fabrikası veya "fab" olduğunu ve bunun şirkete kendi tedarikini kontrol etme yeteneği verdiğini belirtti.

Plawner, Nvidia'nın en yüksek puanı almak için binlerce GPU'lu sistemler oluşturmasına rağmen Habana'nın da aynısını yapabileceğini söyledi. "Intel dahili olarak binlerce Guadi2 kümesi inşa ediyor" dedi ve böyle bir makinenin gelecekteki MLPerf turuna bir giriş olabileceği yönünde üstü kapalı bir öneride bulundu.

Salı günkü sonuçlar, tek bir alternatif yonga üreticisinin Nvidia'ya karşı en yüksek puanı göstermediği eğitim testi için üst üste ikinci çeyrek oldu.

Bir yıl önce Google, TPU çipi sayesinde en yüksek puanı Nvidia ile paylaşmıştı. Ancak Google geçen yılın Kasım ayında ortalıkta görünmedi ve bu kez yine ortalıkta yoktu. Ve startup Graphcore da test sonuçlarını göstermek yerine işine odaklanarak yarıştan çekildi.

Bir telefon görüşmesinde, ZDNET tarafından rakiplerin katılmaması hakkında sorulan MLCommons direktörü David Kanter, "Ne kadar çok parti katılırsa o kadar iyi" dedi.

Google, basın zamanında ZDNET'in şirketin bu sefer neden katılmadığını soran bir sorusuna yanıt vermedi. GPU konusunda Nvidia ile rekabet eden Advanced Micro Devices da yorum talebine yanıt vermedi.

Ancak AMD, CPU çiplerini rekabet eden sistemlerde temsil ettirdi. Ancak şaşırtıcı bir şekilde, kazanan her Nvidia sistemi ana işlemci olarak Intel Xeon CPU'ları kullandı. Bir önceki yılın sonuçlarında, ister Nvidia ister Google olsun, kazanan sekiz başvurunun tamamı AMD'nin EPYC sunucu işlemcilerini kullanan sistemlerdi. Geçiş, Intel'in bu yılki Sapphire Rapids sürümüyle sunucu işlemcilerinde kaybettiği zemini telafi etmeyi başardığını gösteriyor.

Google ve Graphcore'un olmamasına rağmen test, başvuru yapan yeni sistem üreticilerinin ilgisini çekmeye devam ediyor. Bu sefer ilk kez başvuranlar arasında CoreWeave'in yanı sıra IEI ve Quanta Cloud Technology de vardı.