Yapay zekanın en son kıyaslama testinde, çoğunlukla Nvidia, Nvidia'ya karşı yarışıyor

2018'de başlayan yapay zeka eğitiminin kıyaslama MLPerf testinden bu yana ilk kez, Nvidia'nın baskın çiplerine neredeyse hiç rekabeti yoktu.

Zengin rekabet eksikliği nedeniyle, Nvidia'nın en son MLPerf'teki en önemli sonuçlarından bazıları, en yeni GPU'su H100 "Hopper" ı mevcut ürünü A100 ile karşılaştırarak kendisine karşıydı.

Çip devi Nvidia, yapay zeka dünyasına uzun bir gölge düşürme eğiliminde olsa da, en son kıyaslama testi sonuçları herhangi bir gösterge ise, rekabeti pazardan çıkarma yeteneği artıyor olabilir.

Google, ZDNET'in bu sefer neden katılmadığına dair yorum talebine yanıt vermedi.

Bir e-postada Graphcore, ZDNET'e şirketin şu an için mühendislerinin zamanını ayırmak için MLPerf için başvuruları hazırlamak için haftalar veya aylar süren daha iyi yerlere sahip olabileceğine karar verdiğini söyledi.

Graphcore'un iletişim başkanı Iain Mackenzie, ZDNET'e e-posta yoluyla yaptığı açıklamada, "Azalan getiriler sorunu gündeme geldi" dedi ve ekledi: "Kaçınılmaz bir sıçrama olacak şekilde sonsuza kadar sürecek, daha fazla saniye tıraşlanacak, daha büyük sistem konfigürasyonları ortaya çıkacak."

Mackenzie, ZDNET'e verdiği demeçte, Graphcore'un "gelecekteki MLPerf turlarına katılabilir, ancak şu anda en heyecan verici ilerlemeyi gördüğümüz AI alanlarını yansıtmadığını" söyledi. MLPerf görevleri yalnızca "masa bahisleri"dir.

Bunun yerine, "Enerjimizi gerçekten odaklamak istiyoruz" dedi ve "AI uygulayıcıları için yeni yeteneklerin kilidini açmaya" dedi. Bu amaçla, Graphcore'dan "Yakında bazı heyecan verici ilerlemeler görmeyi bekleyebilirsiniz" diyen Mackenzie, "Örneğin, model seyrekleştirmesinde ve GNN'lerde" veya Graph Neural Networks'te olduğunu söyledi.

Nvidia'nın rekabete hakim olan çiplerine ek olarak, en yüksek puanları elde eden tüm bilgisayar sistemleri, ortaklardan ziyade Nvidia tarafından inşa edilenlerdi. Bu aynı zamanda kıyaslama testinin geçmiş turlarından bir değişikliktir. Genellikle, Dell gibi bazı satıcılar, Nvidia yongalarını kullanarak bir araya getirdikleri sistemler için en yüksek puanları alır. Bu sefer, hiçbir sistem satıcısı, Nvidia'nın çiplerini kendi kullanımında Nvidia'yı yenemedi.

MLPerf eğitim kıyaslama testleri, bilgisayar programı belirli bir görevde gerekli minimum doğruluğa ulaşana kadar nöral "ağırlıkları" veya parametreleri ayarlamanın kaç dakika sürdüğünü bildirir, bu süreç bir sinir ağını "eğitmek" olarak adlandırılır ve daha kısa bir sürenin daha iyi olduğu bir süreçtir. 

Her ne kadar en yüksek puanlar genellikle manşetlere çıksa da - ve satıcılar tarafından basına vurgulansa da - gerçekte, MLPerf sonuçları yalnızca tek bir en yüksek puanı değil, çok çeşitli sistemleri ve geniş bir puan yelpazesini içerir.

Telefonla yapılan bir görüşmede, MLCommons'un yönetici direktörü David Kanter, ZDNET'e sadece en yüksek puanlara odaklanmamasını söyledi. Kanter, yapay zeka donanımı satın almayı değerlendiren şirketler için kıyaslama paketinin değerinin, çeşitli performans türlerine sahip çeşitli boyutlarda geniş bir sistem setine sahip olmak olduğunu söyledi.

Sayıları yüzleri bulan başvurular, yalnızca birkaç sıradan mikroişlemciye sahip makinelerden, AMD'den binlerce ana bilgisayar işlemcisine ve binlerce Nvidia GPU'ya sahip makinelere kadar uzanıyor, bu da en yüksek puanları alan türden sistemler.

Kanter, ZDNET'e verdiği demeçte, "Makine öğrenimi eğitimi ve çıkarımı söz konusu olduğunda, tüm farklı performans seviyeleri için çok çeşitli ihtiyaçlar var" dedi ve "Ve hedefin bir kısmı, tüm bu farklı ölçeklerde kullanılabilecek performans ölçümleri sağlamaktır."

Kanter şöyle devam etti: "Bazı küçük sistemler hakkındaki bilgiler, daha büyük ölçekli sistemlerde olduğu kadar değerlidir... Bu sistemlerin hepsi eşit derecede alakalı ve önemlidir, ancak belki de farklı insanlar için."

Graphcore ve Google'ın bu seferki katılım eksikliği ile ilgili olarak Kanter, "Daha fazla başvuru görmeyi çok isterim" dedi ve ekledi: "Birçok şirket için anlıyorum, mühendislik kaynaklarına nasıl yatırım yapacaklarını seçmek zorunda kalabilirler. ... Sanırım bu şeylerin zaman içinde farklı turlarda gelgitler yaşadığını göreceksiniz" dedi.

Nvidia ile rekabetin azlığının ilginç bir ikincil etkisi, bazı eğitim görevleri için bazı en yüksek puanların yalnızca önceki zamana göre hiçbir gelişme göstermediği değil, aynı zamanda bir gerileme gösterdiği anlamına geliyordu. 

Örneğin, bir sinir ağının milyonlarca görüntüye bir sınıflandırıcı etiketi atamak için eğitildiği saygıdeğer ImageNet görevinde, bu seferki en iyi sonuç, Haziran ayında üçüncü sırada yer alan sonuçla aynıydı, Nvidia tarafından inşa edilen ve eğitilmesi 19 saniye süren bir sistem. Haziran ayındaki bu sonuç, Google'ın sadece 11.5 saniye ve 14 saniyede gelen "TPU" çipinden elde edilen sonuçları takip etmişti.

Daha önceki bir gönderimin tekrarı hakkında sorulan Nvidia, ZDNET'e e-postada odak noktasının bu sefer A100 değil, H100 yongası üzerinde olduğunu söyledi. Nvidia ayrıca, 2018'deki ilk A100 sonuçlarından bu yana ilerleme kaydedildiğini belirtti. Bu eğitim kriterlerinde, sekiz yönlü bir Nvidia sisteminin ResNet-50'yi eğitmesi yaklaşık 40 dakika sürdü. Bu haftaki sonuçlarda, bu süre 30 dakikanın altına indirildi.

Nvidia ayrıca Intel'in Gaudi2 AI yongalarına ve yakında çıkacak olan Sapphire Rapids XEON işlemcisine karşı hız avantajından da bahsetti.

Nvidia'dan Salvatore gazetecilere verdiği demeçte, rekabetçi sunumların kıtlığı ve MLPerf'in uygulanabilirliği hakkında sorulan soruya, "Bu adil bir soru" dedi ve ekledi: "Katılımı teşvik etmek için elimizden gelen her şeyi yapıyoruz; Sektör ölçütleri katılımla gelişir. Umuyoruz ki, yeni çözümlerden bazıları diğerlerinden piyasaya çıkmaya devam ettikçe, bu çözümlerin faydalarını ve iyiliğini, doğrulanması çok zor olan kendi tek seferlik performans iddialarını sunmak yerine, endüstri standardı bir kıyaslamada göstermek isteyeceklerdir."

Salvatore, MLPerf'in önemli bir unsurunun, düzinelerce şirketten gelen yüzlerce başvuruda test sonuçlarını net ve tutarlı tutmak için test kurulumunu ve kodunu titizlikle yayınlamak olduğunu söyledi. 

MLPerf eğitim kıyaslama puanlarının yanı sıra, MLCommons tarafından Çarşamba günü yayınlanan sürüm, HPC, yani bilimsel hesaplama ve süper bilgisayarlar için test sonuçları da sundu. Bu başvurular, Nvidia ve ortaklarından gelen sistemlerin bir karışımını ve ayrıca Fujitsu'nun kendi çiplerini çalıştıran Fugaku süper bilgisayarını içeriyordu.

TinyML adı verilen üçüncü bir yarışma, düşük güçlü ve gömülü çiplerin, eğitimli bir sinir ağının tahminlerde bulunduğu makine öğreniminin bir parçası olan çıkarım yaparken ne kadar iyi performans gösterdiğini ölçer.

Nvidia'nın şu ana kadar katılmadığı bu yarışma, çip üreticileri Silicon Labs ve Qualcomm, Avrupa teknoloji devi STMicroelectronics ve OctoML, Syntiant ve GreenWaves Technologies gibi satıcılardan ilginç bir çip ve sunum çeşitliliğine sahip. 

CIFAR veri setini ve ResNet sinir ağını kullanan bir görüntü tanıma testi olan TinyML'nin bir testinde, GreenWaves (merkezi Grenoble, Fransa'da bulunan), verileri işlemek ve bir tahminde bulunmak için en düşük gecikme süresine sahip olduğu için en yüksek puanı aldı. Şirket, Gap9 AI hızlandırıcısını bir RISC işlemci ile birlikte sundu.  

Hazırlanan açıklamalarda GreenWaves, Gap9'un "hem sınıflandırma hem de algılama görevlerinde MobileNet serisi gibi orta karmaşıklıktaki sinir ağlarında ve aynı zamanda LSTM tabanlı ses gürültü gidericimiz gibi karmaşık, karışık hassasiyetli tekrarlayan sinir ağlarında olağanüstü düşük enerji tüketimi sağladığını" belirtti.