IBM'in sektör dönüşümüne yönelik planı yapay zeka, 5G ve işbirliğinden nasıl yararlanıyor?
Şirket ayrıca, geleneksel DDR5 bellek yongalarını kullanan tek bir makinede bir trilyon parametreli yapay zeka modelinin ilk eğitimini de gösteriyor.
Cerebras, daha küçük bir yapay zeka modelini daha büyük bir modele eşit veya daha iyi hale getirmek için çıkarım sırasında düşünce zincirini kullandı.
Cerebras Systems Salı günü, "düşünce zinciri" olarak bilinen üretken yapay zekada (AI) giderek daha popüler hale gelen yaklaşımı ekleyerek Meta Platforms'un Lama'sının küçük bir versiyonda da büyük bir versiyonda olduğu kadar iyi performans göstermesini sağladığını duyurdu. Yapay zekalı bilgisayar üreticisi, yapay zekaya ilişkin yıllık NeurIPS konferansının başlangıcında ilerlemeyi duyurdu.
Cerebras'ın ürün pazarlama çalışması başkanı James Wang, ZDNET ile yaptığı röportajda "Bu yalnızca kapalı kaynak özelliğidir, ancak bu yeteneği en popüler ekosistem olan Lama'ya getirmek istedik" dedi.
Proje, Cerebras'ın yapay zeka (GPU çipleri) alanındaki mevcut durumla rekabet halinde sattığı amaca yönelik tasarlanmış yapay zeka bilgisayarı "CS-3"ün yeteneklerini göstermek için gerçekleştirdiği açık kaynaklı projelerin sonuncusu. alışılagelmiş satıcılar olan Nvidia ve AMD'den.
Şirket, Llama'nın çok daha büyük olan 405 milyar parametreli versiyonuyla aynı doğruluğa veya çeşitli kıyaslama testlerinde daha iyi doğruluğa ulaşmak için yalnızca 70 milyar parametre kullanan Llama 3.1 açık kaynaklı yapay zeka modelini eğitmeyi başardı.
Bu testler arasında MIT ve Meta'da geliştirilen "karmaşık akıl yürütme görevlerine" ilişkin CRUX testi ve U.C.'de geliştirilen kod oluşturma zorluklarına yönelik LiveCodeBench yer alıyor. Berkeley, MIT ve Cornell Üniversitesi, diğerleri arasında.
Düşünce zinciri, daha az eğitim süresi, veri ve bilgi işlem gücü kullanan modellerin büyük bir modelin performansına eşit olmasını veya bu performansı aşmasını sağlayabilir.
Wang, "Esasen, sadece çıkarım zamanında daha fazla düşünerek, yedi kat daha büyük bir model olan Llama 3.1 405B'yi geride bırakıyoruz" dedi.
Düşünce zinciri işlemenin ardındaki fikir, yapay zeka modelinin, "açıklanabilir" yapay zeka elde etmek için nihai cevabın peşinde gerçekleştirilen hesaplama dizisini detaylandırmasıdır. Bu tür açıklanabilir yapay zeka, cevapların temelini açıklayarak insanlara yapay zekanın tahminlerine daha fazla güven verebilir.
OpenAI, yakın zamanda piyasaya sürülen "o1" büyük dil modeliyle düşünce zinciri yaklaşımını popüler hale getirdi.
Cerebras'ın "Cerebras Planlama ve Optimizasyon" veya CePO olarak adlandırılan o1'e yanıtı, Llama'nın - istemin gönderildiği anda - "verilen sorunu adım adım çözmek için bir plan üretmesini", gerçekleştirmesini talep ederek çalışır. planı tekrar tekrar uygulayın, her uygulamaya verilen yanıtları analiz edin ve ardından bir "en iyi" yanıtı seçin.
"Kodun kelimenin tam anlamıyla jetonla jetonla belirtildiği geleneksel bir LLM'den farklı olarak, bu, kendi ürettiği koduna bakacak ve mantıklı olup olmadığını görecek?" Wang açıkladı. "Sözdizimi hataları var mı? Gerçekten kişinin istediğini yerine getiriyor mu? Ve bu tür bir plan yürütme ve çapraz kontrol mantıksal döngüsünü birden çok kez çalıştıracak."
Cerebras, Llama 3.1'in 405B modelini eşleştirmenin veya aşmanın yanı sıra, en son Llama sürümü olan 3.3'ü alıp Anthropic'in Claude 3.5 Sonnet'i ve OpenAI'nin GPT-4'ü gibi "sınır" büyük dil modelleri düzeyinde performans göstermesini sağladı. Turbo.
Wang, "Sanırım bu, genel olarak orta büyüklükte kabul edilen 70B modelini ilk kez alıp sınır düzeyinde bir performans elde eden biri oldu" dedi.
Cerebras esprili bir şekilde Llama'yı OpenAI'nin o1'inin "çilek" kod adına gönderme yapan "Çilek Testi"ne de soktu. "Strrrawberry" gibi "r" sayıları çarpıldığında ve dil modellerinden r sayısını söylemeleri istendiğinde, genellikle başarısız olurlar. Lama 3.1, düşünce zincirini kullanarak değişen sayıda r'yi doğru bir şekilde ilişkilendirmeyi başardı.
Kurumsal açıdan bakıldığında Cerebras, AI bilgisayarı CS-3'ün donanım ve yazılım avantajlarını göstermeye istekli.
Llama üzerindeki çalışma, dünyanın en büyük yarı iletkeni olan Cerebras'ın WSE3 çipi kullanılarak CS-3'ler üzerinde yapıldı. Wang, şirketin, Llama 3.1 70B modelinin yanı sıra daha yeni Llama 3.3'ü de, o1 ve Nvidia ve AMD çipleri üzerinde çalışan diğer modellerde meydana gelen tipik gecikme olmaksızın düşünce zinciri üzerinde çalıştırabildiğini söyledi.
Şirket, 3.1 70B'nin düşünce zinciri versiyonunun Cerebras CS-3'lerde çalışırken "gerçek zamanlı çalışan tek akıl yürütme modeli" olduğunu iddia ediyor. "OpenAI akıl yürütme modeli o1 dakikalar içinde çalışır; CePO saniyeler içinde çalışır."
Yakın zamanda "dünyanın en hızlı çıkarım hizmeti" olarak adlandırdığı hizmeti sunan Cerebras, CS-3 makinelerinin, saniyede işlenen 2.100 token ile GPU yongalarındaki en hızlı hizmetten 16 kat daha hızlı olduğunu iddia ediyor.
Cerebras'ın deneyi, yalnızca yapay zeka modellerinin eğitiminin değil, aynı zamanda üretimde tahminlerin yapılmasının da, istemler daha karmaşık hale geldikçe giderek daha büyük bilgi işlem ihtiyaçlarına göre ölçeklendiği yönündeki artan anlayışı destekliyor.
Genel olarak Wang, büyük dil modellerinin doğruluğunun hem eğitimde hem de çıkarımda kullanılan hesaplama miktarıyla orantılı olarak artacağını söyledi; ancak performansı artıran faktör, her durumda hangi yaklaşımın kullanıldığına bağlı olarak değişecektir.
Wang, "Farklı teknikler, hesaplamayla farklı derecelerde ölçeklenecektir" dedi. "Çizgilerin eğimi farklı olacaktır. Dikkat çekici olan ve ölçeklendirme yasalarından neden bahsedildiği, ölçeklendiği ve görünüşte sonu olmayan bir gerçektir."
"Klasik görüş, iyileştirmelerin durağanlaşacağı ve algoritmik atılımlara ihtiyaç duyulacağı yönündeydi" dedi. "Ölçeklendirme yasaları şunu söylüyor: 'Hayır, pratikte herhangi bir sınırlama olmaksızın buna daha fazla bilgi işlem uygulayabilirsiniz.' Sinir ağının türü, akıl yürütme yöntemi vb. iyileştirme oranını etkiler ancak ölçeklenebilir doğasını etkilemez."
Farklı uygulamalarda, düşünce zinciri ya ara sonuçlarının ayrıntılı bir dizisini ya da "düşünme" gibi bir şey söyleyen bir tür durum mesajını yayınlayabilir. Hangi Cerebras'ı tercih ettiği sorulduğunda Wang, gerçek çıktıyı kendisinin görmediğini ancak "muhtemelen ayrıntılı olduğunu" söyledi. Lama ve açık kaynak modellerine hizmet etmek üzere tasarlanmış şeyleri piyasaya sürdüğümüzde, insanlar ara sonuçları görmekten hoşlanırlar.
Cerebras, 55 terabaytlık ticari DRAM kullanan trilyon parametreli bir dil modelinin tek bir makinede ilk eğitimini gösteriyor.
Yine Salı günü Cerebras, ABD Enerji Bakanlığı tarafından işletilen bir laboratuvar olan Sandia Ulusal Laboratuvarları ile yürütülen bir araştırma projesinde, bir trilyon parametreye sahip büyük bir dil modelinin "ilk" eğitimini gösterdiğini duyurdu.
Çalışma, amaca yönelik olarak tasarlanmış bellek bilgisayarı MemX ile birleştirilmiş tek bir CS-3 üzerinde gerçekleştirildi. MemX'in özel bir sürümü, modelin parametre ağırlıklarını tutmak için 55 terabayt belleğe yükseltildi ve bunlar daha sonra Cerebras'ın özel ağ bilgisayarı SwarmX üzerinden CS-3'e aktarıldı.
Cerebras, CS-3 sisteminin, eşdeğer belleğe erişim için gerekli olan Nvidia'nın en üst düzey "Grace Blackwell 200" kombo CPU ve GPU çiplerinin 287'sinin yerini alacağını iddia ediyor.
Wang, bir CS-3 ve MemX'in kombinasyonunun iki standart telekomünikasyon ekipmanı rafını kapladığını söyledi. Şirket, bunun eşdeğer GPU düzenlemesinin alanının ve gücünün yüzde birinden daha azını gerektirdiğini iddia ediyor.
MemX cihazı, daha pahalı "yüksek bant genişlikli belleğe" veya HBM'ye sahip GPU kartlarının aksine, DDR-5 olarak bilinen ticari DRAM'i kullanır.
Wang, "HBM tedarik zincirine dokunmuyor, dolayısıyla temin edilmesi son derece kolay ve ucuz" dedi.
Cerebras, kümelenmiş sisteminin trilyon parametreli bir model üzerinde programlama görevi için gerekli kod miktarını büyük ölçüde azalttığını iddia ediyor.
Cerebras asıl kazancın programlama modelinde olacağına bahse giriyor. Yüzlerce GPU'yu birlikte programlamak için Wang, yapay zeka modellerinin Python, C ve C++ ile kabuk kodunu ve diğer kaynaklarını koordine etmek için toplam 20.507 kod satırına ihtiyaç duyulduğunu söyledi. Aynı görev CS-3 makinesinde 565 satır kod ile gerçekleştirilebilmektedir.
"Bu sadece donanım açısından bir ihtiyaç değil, programlama açısından çok daha basit" dedi, "çünkü bu trilyon parametreli modeli doğrudan bu bellek bloğuna bırakabilirsiniz", oysa GPU'lar "yönetmeyi" içeriyor Parametreleri koordine etmek için HBM belleğinin "binlerce 80 gigabaytlık bloğu" boyunca.
Araştırma projesi, henüz açıklanmayan yapay zeka modelini 50 eğitim adımı boyunca eğitti, ancak henüz "yakınsama", yani bitmiş bir duruma kadar eğitmedi. Trilyon parametreli bir modeli yakınsama için eğitmek çok daha fazla makine ve daha fazla zaman gerektirecektir.
Ancak Cerebras daha sonra eğitimi CS-3 makinelerinin 16'sında yürütmek için Sandia ile çalıştı. Performansın "doğrusal" bir şekilde arttığını söyleyen Wang, eğitim doğruluğunun kümeye yerleştirilen bilgisayar sayısıyla orantılı olarak arttığını söyledi.
Wang, "GPU her zaman doğrusal ölçeklendirmeyi iddia etmiştir, ancak bunu başarmak çok ama çok zordur" dedi. "Yonga levha ölçeğindeki kümemizin asıl amacı, belleğin birleşik blok olması, hesaplamanın ayrı olması ve arada bir dokuya sahip olmamız nedeniyle bu konuda endişelenmenize gerek olmamasıdır."
Wang, Sandia ile yapılan çalışmanın modeli yakınsama konusunda eğitmemesine rağmen, bu tür büyük model eğitiminin "müşterilerimiz için çok önemli" olduğunu söyledi. "Bu, tam anlamıyla yakınsama anlamına gelen, çok fazla paraya mal olan büyük bir çalışma yapmadan önceki ilk adımdır" dedi.
Şirketin en büyük müşterilerinden biri olan Birleşik Arap Emirlikleri'ndeki yatırım şirketi G42'nin "dünya standartlarında bir sonuç elde etme konusunda çok motive olduğunu" söyledi. "Çok çok büyük bir modeli eğitmek istiyorlar."
Wang, Sandia'nın muhtemelen bazı "nihai sonuçlar" aldığında deneyi yayınlayacağını söyledi.
NeurIPS konferansı yapay zeka alanındaki en önemli etkinliklerden biridir ve çoğu zaman çığır açan buluşların ilk kamuya açıklanmasını içerir. Bir haftalık etkinliğin tam programına NeurIPS Web sitesinde ulaşılabilir.