Seyreklik nedir? DeepSeek AI'nın sırrı, Apple araştırmacıları tarafından ortaya çıkarıldı

Dünyayı sarsan yapay zeka modeli, çiplerden daha fazlasını elde etmeye yönelik geniş bir eğilimin parçası. İşte nasıl çalıştığı.

Yapay zeka (AI) piyasası ve tüm borsa, geçen ay Çin merkezli bir hedge fonu tarafından geliştirilen ve OpenAI'nin bazı görevlerde en iyisini çok daha ucuza mal eden açık kaynaklı büyük dil modeli (LLM) DeepSeek'in ani popülaritesiyle sarsıldı.

ZDNET'ten Radhika Rajkumar'ın detaylandırdığı gibi, R1'in başarısı, daha küçük laboratuvarları ve araştırmacıları rekabetçi modeller oluşturma ve mevcut seçenekleri çeşitlendirme konusunda güçlendirebilecek yapay zekada büyük bir değişikliği vurguluyor.

DeepSeek neden bu kadar iyi çalışıyor?

Başarısı, "seyreklik" olarak bilinen bir fenomenden yararlanarak bilgisayar çiplerinden daha fazla yararlanmak için yapay zekanın derin öğrenme biçimlerindeki geniş bir yaklaşımdan kaynaklanmaktadır.

Seyreklik birçok biçimde gelir. Bazen, yapay zekanın kullandığı verilerin, bu veriler modelin çıktısını önemli ölçüde etkilemediğinde ortadan kaldırılmasını içerir.

Diğer zamanlarda, seyreklik, sonucu etkilemiyorsa, bir sinir ağının tüm parçalarını kesmeyi içerir.

DeepSeek, ikincisine bir örnektir: sinir ağlarının cimri kullanımı.

Çoğu insanın DeepSeek'te tanımladığı ana ilerleme, sinir ağı "ağırlıklarının" veya "parametrelerinin" büyük bölümlerini açıp kapatabilmesidir. Parametreler, bir sinir ağının girişi (yazdığınız istemi) oluşturulan metin veya görüntülere nasıl dönüştürebileceğini şekillendirir. Parametreler, hesaplamaların gerçekleştirilmesinin ne kadar sürdüğü üzerinde doğrudan bir etkiye sahiptir. Daha fazla parametre genellikle daha fazla bilgi işlem çabası anlamına gelir.

Seyreklik ve YZ'deki rolü

Bir LLM'nin toplam parametrelerinin yalnızca bir kısmını kullanma ve geri kalanını kapatma yeteneği bir seyreklik örneğidir. Bu seyreklik, bir yapay zeka modeli için bilgi işlem bütçesinin ne kadar büyük veya küçük olduğu üzerinde büyük bir etkiye sahip olabilir.

Apple AI araştırmacıları, 21 Ocak'ta yayınlanan bir raporda, DeepSeek ve benzer yaklaşımların belirli bir bilgi işlem gücü için daha iyi sonuçlar elde etmek için seyrekliği nasıl kullandığını açıkladı.

Apple'ın DeepSeek ile hiçbir bağlantısı yok, ancak teknoloji devi kendi yapay zeka araştırmasını yapıyor. Bu nedenle, DeepSeek gibi dış şirketlerin gelişmeleri, Apple'ın yapay zeka araştırmalarına devam eden katılımının büyük ölçüde bir parçasıdır.

arXiv ön baskı sunucusunda yayınlanan "Parameters vs FLOPs: Scaling Laws for Optimal Sparsity for Spyware-of-Expert Language Models" başlıklı makalede, baş yazar Samir Abnar ve diğer Apple araştırmacıları, MIT'den işbirlikçi Harshay Shah ile birlikte, sinir ağının parçalarını kapatarak seyreklikten yararlanırken performansın nasıl değiştiğini incelediler.

Abnar ve ekibi, çalışmalarını Microsoft, Google ve Stanford'daki yapay zeka araştırmacıları tarafından 2023'te yayınlanan MegaBlocks adlı bir kod kitaplığını kullanarak yürüttü. Ancak, çalışmalarının DeepSeek'e ve diğer son yeniliklere uygulanabileceğini açıkça belirtiyorlar.

Abnar ve ekibi, DeepSeek ve benzeri modellerde seyreklik için "optimal" bir seviye olup olmadığını soruyor: belirli bir miktarda bilgi işlem gücü için, açılıp kapatılacak en uygun nöral ağırlıkların sayısı var mı?

Araştırma, seyrekliği, kapatabileceğiniz tüm nöral ağırlıkların yüzdesi olarak tam olarak ölçebileceğinizi, bu yüzdenin nöral ağın "aktif olmayan" %100'üne yaklaştığını ancak hiçbir zaman eşit olmadığını gösteriyor.

Grafikler, belirli bir sinir ağı için, belirli bir bilgi işlem bütçesinde, belirli bir doğruluk düzeyine ulaşmak için kapatılabilecek en uygun miktarda sinir ağı olduğunu göstermektedir. Aynı ekonomik kural, her yeni nesil kişisel bilgisayar için de geçerlidir: ya aynı para için daha iyi bir sonuç ya da daha az para için aynı sonuç.

Belirli bir miktarda bilgi işlemle, toplam parametrelerde belirli bir boyuttaki bir sinir ağı için, matematik veya soru yanıtlama gibi belirli bir AI kıyaslama testinde aynı veya daha iyi doğruluğu elde etmek için giderek daha az parametreye ihtiyacınız vardır.

Başka bir deyişle, bilgi işlem gücünüz ne olursa olsun, sinir ağının parçalarını giderek daha fazla kapatabilir ve aynı veya daha iyi sonuçları elde edebilirsiniz.

Yapay zekayı daha az parametreyle optimize etme

Abnar ve ekibinin teknik terimlerle belirttiği gibi: "Toplam parametre sayısını orantılı olarak genişletirken seyrekliği artırmak, sabit bir eğitim hesaplama bütçesiyle kısıtlandığında bile tutarlı bir şekilde daha düşük bir ön eğitim kaybına yol açar." "Ön eğitim kaybı" terimi, bir sinir ağının ne kadar doğru olduğunu gösteren yapay zeka terimidir. Daha düşük eğitim kaybı, daha doğru sonuçlar anlamına gelir.

Bu bulgu, DeepSeek'in nasıl daha az bilgi işlem gücüne sahip olabileceğini, ancak daha fazla ağ parçasını kapatarak aynı veya daha iyi sonuçlara ulaşabileceğini açıklıyor.

Seyreklik, yapay zeka modeliniz ve mevcut bilgi işleminiz için en iyi eşleşmeyi bulan sihirli bir kadran gibidir.

Aynı ekonomik kural, her yeni nesil kişisel bilgisayar için de geçerlidir: ya aynı para için daha iyi bir sonuç ya da daha az para için aynı sonuç.

DeepSeek hakkında dikkate alınması gereken başka detaylar da var. Örneğin, Epoch AI'dan Ege Erdil'in açıkladığı gibi bir başka DeepSeek yeniliği, "çok başlı gizli dikkat" adı verilen matematiksel bir hiledir. Yabani otların derinliklerine inmeden, en büyük bellek ve bant genişliği tüketicilerinden birini, bir istemin en son giriş metnini tutan bellek önbelleğini sıkıştırmak için çok başlı gizli dikkat kullanılır.

Seyreklik araştırmasının geleceği

Ayrıntılar bir yana, tüm bu çabalarla ilgili en derin nokta, bir fenomen olarak seyrekliğin yapay zeka araştırmalarında yeni olmadığı gibi, mühendislikte de yeni bir yaklaşım olmadığıdır.

Yapay zeka araştırmacıları , uzun yıllar boyunca, bir sinir ağının parçalarını ortadan kaldırmanın daha az çabayla karşılaştırılabilir veya daha iyi bir doğruluk elde edebileceğini göstermiştir.

Nvidia'nın rakibi Intel , seyrekliği , uzun yıllardır bu alandaki son teknolojiyi değiştirmek için önemli bir araştırma yolu olarak tanımladı. Seyrekliğe dayalı girişimlerin yaklaşımları da son yıllarda endüstri kıyaslamalarında yüksek puanlar aldı.

Seyrekliğin sihirli kadranı, DeepSeek örneğinde olduğu gibi yalnızca bilgi işlem maliyetlerini azaltmakla kalmaz. Seyreklik başka yönde de çalışır: giderek daha verimli AI bilgisayarları yapabilir.

Seyrekliğin sihirli kadranı derindir, çünkü DeepSeek örneğinde olduğu gibi sadece küçük bir bütçe için ekonomiyi geliştirmekle kalmaz, aynı zamanda diğer yönde de çalışır: daha fazla harcayın ve seyreklik yoluyla daha da iyi faydalar elde edin. Abnar ve ekibi, bilgi işlem gücünüzü artırdıkça, AI modelinin doğruluğunun arttığını buldu.

Şunları önerdiler: "Seyreklik arttıkça, tüm hesaplama bütçeleri için doğrulama kaybı azalır ve daha büyük bütçeler her seyreklik düzeyinde daha düşük kayıplar elde eder."

Teorik olarak, daha büyük ve daha büyük bilgisayarlarda daha büyük ve daha büyük modeller yapabilir ve paranızın karşılığını daha iyi alabilirsiniz.

Tüm bu seyreklik çalışması, DeepSeek'in birçok laboratuvarın zaten takip ettiği geniş bir araştırma alanının yalnızca bir örneği olduğu anlamına geliyor - ve şimdi çok daha fazlası DeepSeek'in başarısını tekrarlamak için atlayacak.