Meta, yakında dünyanın en hızlı yapay zeka süper bilgisayarına sahip olacağını söylüyor
Sonuç olarak, daha önce Facebook olarak bilinen şirket, AI Research SuperCluster sisteminin metaverse'e güç sağlamak için AI geliştirmesine yardımcı olmasını istiyor.
2022'nin ortalarında Meta, dünyanın en hızlı yapay zeka süper bilgisayarı olacağına inandığı şeyi kontrol edecek. AI Research SuperCluster (RSC) olarak adlandırılan sistem, Pazartesi günü bir blog yazısında zaten çalışıyor ve dünyanın en hızlı AI süper bilgisayarları arasında yer alıyor.
RSC'nin geliştirilmesi devam ediyor, ancak ikinci aşama bu yılın ikinci yarısına kadar tamamlandığında, sistem yaklaşık 5 exaflop karma hassasiyetli hesaplama sağlayacak.
Eskiden Facebook olarak bilinen Meta, araştırma için doğal dil işleme (NLP) ve bilgisayarla görme konularında büyük modelleri eğitmek için süper bilgisayarı zaten kullanıyor. Şirket, sosyal platformlarındaki zararlı içerikleri tespit etmek gibi devam eden öncelikler için büyük ölçekli yapay zeka modelleri kullanıyor. Ancak nihayetinde, Meta'nın platformları ve ürünleriyle desteklemeyi planladığı sanal dünya olan metaverse'e güç vermesine yardımcı olmak için trilyonlarca parametreye sahip modelleri eğitmek istiyor.
Meta CEO'su Mark Zuckerberg yaptığı açıklamada, "Metaverse için oluşturduğumuz deneyimler muazzam bir bilgi işlem gücü (kentilyonlarca işlem/saniye!) gerektiriyor ve RSC, trilyonlarca örnekten öğrenebilen, yüzlerce dili anlayabilen ve daha fazlasını yapabilen yeni yapay zeka modellerini mümkün kılacak" dedi.
Şu anda RSC, hesaplama düğümleri olarak toplam 6.080 GPU için toplam 760 Nvidia DGX A100 sistemi içermektedir. GPU'lar, fazla aboneliği olmayan bir Nvidia Quantum 200 Gb/sn InfiniBand iki seviyeli Clos yapısı aracılığıyla iletişim kurar. RSC'nin depolama katmanında 175 petabayt Pure Storage FlashArray, Penguin Computing Altus sistemlerinde 46 petabayt önbellek depolama alanı ve 10 petabayt Pure Storage FlashBlade bulunur.
Buna karşılık, geçen yaz dünyanın en hızlı yapay zeka süper bilgisayarı olarak tanıtılan ABD Enerji Bakanlığı'nın Perlmutter AI süper bilgisayarı, 6.159 Nvidia A100 Tensor Core GPU ile yaklaşık dört exaflop karma hassasiyetli performans sunuyor.
Meta'nın RSC'si tamamlandığında, InfiniBand ağ yapısı 16.000 GPU'yu uç nokta olarak bağlayacak ve bu da onu bugüne kadar dağıtılan bu tür en büyük ağlardan biri haline getirecek. Ayrıca Meta, 16 TB/sn eğitim verisi sunabilen bir önbelleğe alma ve depolama sistemi tasarladı. Şirket bunu 1 eksabayta kadar ölçeklendirmeyi planlıyor - bu da 36.000 yıllık yüksek kaliteli videoya eşdeğer.
RSC, Meta'nın 2017'de tasarlanan, tek bir kümede 22.000 Nvidia V100 Tensor Core GPU'ya sahip olan ve günde 35.000 eğitim işi gerçekleştiren eski altyapısının yerini alıyor. RSC'deki ilk karşılaştırmalar, bilgisayarla görme iş akışlarını eski sistemden 20 kata kadar daha hızlı çalıştırdığını, Nvidia Toplu İletişim Kitaplığı'nı (NCCL) 9 kattan daha hızlı çalıştırdığını ve büyük ölçekli NLP modellerini 3 kat daha hızlı eğittiğini gösteriyor.
Meta'nın önceki yapay zeka araştırma altyapısı yalnızca açık kaynak ve diğer halka açık veri kümelerini kullanırken, RSC, Meta'nın üretim sistemlerinden gerçek dünya verileriyle modelleri öğretmesine olanak tanıyan gizlilik ve güvenlik kontrolleri içeriyor.
RSC, eğitimden hemen önce şifresi çözülen, kullanıcı tarafından oluşturulan şifrelenmiş verilerden yararlanır. Sistemin internete doğrudan gelen veya giden bağlantısı yoktur ve trafik yalnızca Meta'nın üretim veri merkezlerinden akabilir. Meta'nın depolama sistemlerinden GPU'lara giden tüm veri yolu uçtan uca şifrelenir. Veriler RSC'ye aktarılmadan önce, doğru şekilde anonimleştirildiğini doğrulamak için bir gizlilik inceleme sürecinden geçmelidir. Veriler daha sonra yapay zeka modellerini eğitmek için kullanılmadan önce şifrelenir ve eski verilere hala erişilememesini sağlamak için şifre çözme anahtarları düzenli olarak silinir.