Google'ın DeepMind'ı, yapay zeka söz konusu olduğunda daha azının çok daha fazla olduğunu söylüyor

İşlevselliği %75 oranında azaltılan sinir ağı yapay zeka programları, boyutlarının iki katı olan programlarla aynı güce ulaşabilir.

Bilim insanları, sinir ağının dörtte üçünün kaldırılmasıyla daha fazlasının başarılabileceğini buluyor.

Yapay zeka (AI) bilimindeki önemli bir arayış, bir programın büyüklüğü ile kullandığı veri miktarı arasındaki dengedir. Sonuçta, yapay zekayı çalıştırmak için Nvidia GPU yongaları satın almak ve sinir ağlarını eğitmek için milyarlarca bayt veri toplamak gerçek paraya, on milyonlarca dolara mal oluyor ve ne kadara ihtiyacınız olduğu, çok pratik sonuçları olan bir sorudur.

Google'ın DeepMind birimi geçen yıl bilgi işlem gücü ile eğitim verileri arasındaki tam dengeyi bir tür yapay zeka yasası olarak kodladı. "Chinchilla Yasası" olarak adlandırılan bu temel kural, üzerinde eğitim aldığı veri miktarını da başlangıçtakinin dört katına çıkarırsanız, programın boyutunu başlangıç boyutunun dörtte birine kadar azaltabileceğinizi söylüyor. boyut.

Chinchilla'nın amacı ve bu önemli bir nokta, programların daha az devasa olmasına rağmen doğruluk açısından en iyi sonucu elde edebilmesidir. Chinchilla, daha küçük programlar oluşturun ancak veriler üzerinde daha uzun süre eğitim alın, diyor. Başka bir deyişle, derin öğrenme yapay zekasında henüz tam olarak anlaşılmayan nedenlerden dolayı azı daha fazladır.

Bu ay yayınlanan bir makalede, DeepMind ve işbirlikçileri, sinir ağının bir duvara çarptığında performansı daha da ileriye taşıyarak, sinir ağının tüm parçalarını sökerek daha da iyisini yapmanın mümkün olduğunu öne sürerek bu içgörüyü geliştiriyorlar.

Avusturya Bilim ve Teknoloji Enstitüsü'nden baş yazar Elias Frantar ve DeepMind'deki işbirlikçilerine göre, "seyreklik" adı verilen bir teknik kullanırsanız, diğerinin yarısı büyüklüğünde bir sinir ağından doğruluk açısından aynı sonuçları alabilirsiniz.

Yıllardır üzerinde çalışılan, sinir ağlarının belirsiz bir unsuru olan seyreklik, insan nöronlarının gerçek yapısından ödünç alınan bir tekniktir. Seyreklik, nöronlar arasındaki bazı bağlantıların kapatılması anlamına gelir. İnsan beyninde bu bağlantılara sinaps adı verilir.

İnsan sinapslarının büyük çoğunluğu birbirine bağlı değil. Bilim insanı Torsten Hoefler ve ETH Zürih'teki ekibinin 2021'de gözlemlediği gibi, "Biyolojik beyinler, özellikle de insan beyni, hiyerarşik, seyrek ve yinelenen yapılardır" ve şunu ekliyor: "Beynde ne kadar çok nöron varsa, o kadar seyrekleşir."

Düşünce şu ki, eğer çok az sayıdaki bağlantılardan oluşan bu doğal fenomene yaklaşabilirseniz, herhangi bir sinir ağıyla çok daha az çabayla ve çok daha az zaman, para ve enerjiyle çok daha fazlasını yapabilirsiniz.

Derin öğrenmeli yapay zeka modeli gibi bir yapay sinir ağında, sinaptik bağlantıların eşdeğeri "ağırlıklar" veya "parametrelerdir". Bağlantıları olmayan sinapslar sıfır değere sahip ağırlıklardır; hiçbir şey hesaplamazlar, dolayısıyla herhangi bir hesaplama enerjisi tüketmezler. Bu nedenle yapay zeka bilim insanları seyrekliği, sinir ağının parametrelerinin sıfırlanması olarak adlandırıyor.

arXiv ön baskı sunucusunda yayınlanan yeni DeepMind makalesinde Frantar ve ekibi, önceki çalışmanın gösterdiği gibi, daha küçük ağların daha büyük ağların çalışmasına eşit olup olamayacağını soruyor; seyreklik, bazı ağırlıkları kaldırarak performansı daha da ileriye taşımaya ne kadar yardımcı olabilir? ?

Araştırmacılar, bir sinir ağının parametrelerinin dörtte üçünü sıfırlarsanız (onu daha seyrek hale getirirseniz), boyutunun iki katından büyük bir sinir ağıyla aynı işi yapabileceğini keşfettiler.

Kendi ifadeleriyle: "Bu sonuçlardan çıkarılacak en önemli sonuç, Chinchilla'dan önemli ölçüde daha uzun süre eğitim aldıkça (yoğun bilgi işlem optimal), aynı sayıda sıfır olmayanlar için kayıp açısından giderek daha fazla seyrek modelin optimal hale gelmeye başlamasıdır. parametreler." "Yoğun hesaplama modeli" terimi, seyrekliği olmayan, dolayısıyla tüm sinapslarının çalıştığı bir sinir ağını ifade eder.

"Bunun nedeni, yoğun modellerin daha fazla eğitilmesinden elde edilen kazanımların bir noktada önemli ölçüde yavaşlamaya başlaması ve seyrek modellerin onları geçmesine izin vermesidir." Başka bir deyişle, normal, seyrek olmayan modeller (yoğun modeller), seyrek versiyonların devreye girdiği yerde bozulmaya başlar.

Bu araştırmanın pratik sonuçları dikkat çekicidir. Bir sinir ağı performans açısından sınırına ulaşmaya başladığında, aslında çalışan sinir parametrelerinin miktarını azaltmak, onları sıfırlamak, siz siniri eğitirken sinir ağının performansını daha da artıracaktır. daha uzun ve daha uzun bir süre için net.

Frantar ve ekibi, "Optimal seyreklik seviyeleri daha uzun eğitimle sürekli olarak artıyor" diye yazıyor. "Bu nedenle seyreklik, sabit bir nihai parametre maliyeti için model performansını daha da iyileştirmenin bir yolunu sağlar."

Giderek daha fazla güce aç olan sinir ağlarının enerji maliyetinden endişe duyan bir dünya için iyi haber şu ki, bilim insanları daha azıyla daha fazlasının yapılabileceğini buluyor.