AMD, 'üretken yapay zeka hızlandırıcı' olarak MI300x yapay zeka çipini tanıtıyor
Lisa Su, 40 milyar parametreli bir modelin tamamını bellekte çalıştırabilmenin aslında ihtiyacınız olan GPU sayısını azalttığını söyledi.
AMD'nin Instinct MI300X GPU'su birden fazla GPU "yongasına" ek olarak 192 gigabayt HBM3 DRAM belleğe ve saniyede 5,2 terabayt bellek bant genişliğine sahiptir. Şirket, bunun bellekte 80 milyara kadar parametreden oluşan büyük dil modellerini işleyebilen tek çip olduğunu söyledi.
Advanced Micro Devices CEO'su Lisa Su, Salı günü San Francisco'da, şirketin yapay zeka hesaplama stratejisinin en önemli parçası olan ve büyük dil modelleri gibi üretken yapay zeka görevleri için muazzam hafıza ve veri çıkışına sahip bir çipi tanıttı.
Parça olarak bilindiği üzere Instinct MI300X, daha önce duyurulan MI300A'nın devamı niteliğindedir. Çip aslında çoklu "yongacıkların", yani paylaşılan bellek ve ağ bağlantılarıyla tek bir pakette bir araya getirilen bireysel yongaların birleşimidir.
San Francisco şehir merkezindeki Fairmont Oteli'nde yalnızca davetlilerin katıldığı bir seyirci kitlesi için sahneye çıkan Su, parçayı "üretken yapay zeka hızlandırıcı" olarak nitelendirdi ve içinde bulunan ve CDNA 3 olarak bilinen bir aile olan GPU yongalarının "özel olarak tasarlandığını" söyledi. AI ve HPC [yüksek performanslı bilgi işlem] iş yükleri için."
MI300X, parçanın "yalnızca GPU" sürümüdür. MI300A, üç Zen4 CPU yongasının birden fazla GPU yongasıyla birleşimidir. Ancak MI300X'te CPU'lar iki ek CDNA 3 yongasıyla değiştirildi.
MI300X, transistör sayısını 146 milyar transistörden 153 milyara çıkarıyor ve paylaşılan DRAM belleği MI300A'daki 128 gigabayttan 192 gigabayta yükseltiliyor.
Bellek bant genişliği saniyede 800 gigabayttan saniyede 5,2 terabayta çıkarıldı.
Su, CPU veya GPU'yu değiştirerek farklı bilgi işlem türlerini karıştırıp eşleştirme yeteneği nedeniyle "Bu üründe chiplet kullanımımız çok ama çok stratejik" dedi.
Su, MI300X'in Nvidia'nın H100 "Hopper" GPU'sunun 2,4 katı bellek yoğunluğu ve 1,6 katı bellek bant genişliği sunacağını söyledi.
Su, "Üretici yapay zeka ve büyük dil modelleri manzarayı değiştirdi" dedi. "İster eğitimden ister çıkarımdan bahsediyor olun, daha fazla bilgi işlem ihtiyacı katlanarak artıyor."
Güçlü bilgi işlem ihtiyacını göstermek için Sue, şu anda en popüler büyük dil modeli olduğunu söylediği açık kaynak Falcon-40B üzerinde çalışan kısmı gösterdi. Dil modelleri, giderek daha fazla sayıda sinir ağı "parametresi" olarak adlandırılan öğelerle oluşturulduğundan daha fazla bilgi işlem gerektirir. Falcon-40B 40 milyar parametreden oluşuyor.
MI300X'in, verileri harici belleğe ileri geri taşımak zorunda kalmadan, bu boyuttaki bir sinir ağını tamamen bellekte çalıştıracak kadar güçlü ilk çip olduğunu söyledi.
Su, MI300X'in Falcon-40B'yi kullanarak San Francisco hakkında bir şiir oluşturduğunu gösterdi.
"Tek bir MI300X, bellekte yaklaşık 80 milyar parametreye kadar olan modelleri çalıştırabilir" dedi.
"MI300X'i rakipleriyle karşılaştırdığınızda, MI300X 2,4 kat daha fazla bellek ve 1,6 kat daha fazla bellek bant genişliği sunuyor ve tüm bu ek bellek kapasitesiyle birlikte aslında büyük dil modelleri için bir avantajımız var çünkü daha büyük modelleri doğrudan bellekte çalıştırabiliyoruz "
Su, tüm modeli bellekte çalıştırabilmenin şu anlama geldiğini söyledi: "En büyük modeller için bu aslında ihtiyacınız olan GPU sayısını azaltır, özellikle çıkarım için performansı önemli ölçüde hızlandırır ve toplam maliyeti azaltır. mülkiyeti."
Su, "Bu arada bu çipi çok seviyorum" dedi. "Bu çipi seviyoruz."
"MI300X ile GPU sayısını azaltabilirsiniz ve model boyutları büyümeye devam ettikçe bu daha da önemli hale gelecektir."
Su, "Daha fazla bellek, daha fazla bellek bant genişliği ve daha az GPU'ya ihtiyaç duyulduğunda, GPU başına daha fazla çıkarım işi çalıştırabiliriz" dedi. Bunun, büyük dil modellerinin toplam sahip olma maliyetini azaltacağını ve teknolojiyi daha erişilebilir hale getireceğini söyledi.
Su, Nvidia'nın DGX sistemleriyle rekabet edebilmek için "AMD Instinct Platform" adlı yapay zeka bilgisayar ailesini tanıttı. Bunun ilk örneği, MI300X'in sekizini 1,5 terabaytlık HMB3 bellekle birleştirecek. Sunucu, endüstri standardı Açık Hesaplama Platformu özelliklerine uygundur.
Su, "Müşteriler için, tüm bu yapay zeka hesaplama yeteneğini, doğrudan mevcut altyapılarına bırakılan endüstri standardı bir platformda bellekte kullanabilirler" dedi.
Yalnızca bir GPU olan MI300X'in aksine, mevcut MI300A, Nvidia'nın Grace CPU'sunu ve şirketin geçen ay tam üretimde olduğunu duyurduğu Hopper GPU'sunu kullanan Nvidia'nın Grace Hopper birleşik çipiyle rekabet ediyor.
Su, MI300A'nın Enerji Bakanlığı'nın Lawrence Livermore Ulusal Laboratuvarlarında yapım aşamasında olan El Capitan süper bilgisayarına yerleştirildiğini belirtti.
Su, MI300A'nın şu anda AMD müşterilerine örnek olarak gösterildiğini ve MI300X'in bu yılın üçüncü çeyreğinde müşterilere örneklemeye başlayacağını söyledi. Her ikisinin de dördüncü çeyrekte seri üretime geçeceğini söyledi.
AMD'nin haberler için hazırladığı web sitesinden sunumun tekrarını izleyebilirsiniz.