Meta'nın GenAI'si basit tahminlerden sonuçların satranç oyununa geçiyor

Meta bilim adamları, ChatGPT'nin geleneksel yaklaşımının yerine, yanlış yanıtları cezalandıran optimize edilmiş 'çoklu belirteç tahmini'ni savunuyorlar.

Çoklu token tahmini olarak adlandırılan şeye Meta'nın yaklaşımının şeması. Yapay Zeka modelinin eğitimi sırasında, girdiler her zamanki gibi beslenir, ancak yapay zeka modelinin yanıt olarak tek bir jeton (örneğin bir sonraki en olası kelime) üretmek üzere eğitilmesi yerine, model aynı anda dört veya daha fazla jeton oluşturacak şekilde eğitilir. muhtemelen jetonlar.

GPT-4 gibi üretken yapay zeka modelleri, çoktan seçmeli soruların yanıtları gibi düşünceye benzeyen metinsel çıktılar üretme becerisiyle hepimizi hayrete düşürdü. Bununla birlikte, soruyu yanıtlamak gibi "doğru" düşünceye ulaşmak, yapay zeka modellerinin - bariz bir güvenle - yanlış ifadeleri öne sürdüğü "halüsinasyonlar" olgusunun da gösterdiği gibi, daha derin bir sorun olmaya devam ediyor.

Yeni bir çalışmada, Meta'daki bilim insanları, yanlış yanıtlar için ceza kavramını tanıtarak, belirli bir durumda daha doğru olabilecek çıktılar üretmek için büyük dil modellerinde (LLM'ler) ince ayar yaptılar.

"Çok belirteçli tahmin" olarak bilinen yaklaşım, yapay zeka modeline daha az arzu edilen yanıtlar için bir maliyet aşılamayı amaçlıyor. Bu anlamda, AI'da korkuluklar oluşturmaya yönelik "insan geri bildirimlerinden takviyeli öğrenme" veya OpenAI'nin ChatGPT'nin en aşırı çıktılarını engellemek için popüler hale getirdiği bir yöntem olan RLHF gibi popüler yaklaşımlara benzer.

(Bir "Yapay Zeka modeli", bir Yapay Zeka programının işlevleri için temel öğeler olan çok sayıda sinir ağı parametresini ve aktivasyon işlevlerini içeren bir Yapay Zeka programının parçasıdır.)

"Çok Belirteçli Tahminle Daha İyi ve Daha Hızlı Büyük Dil Modelleri" kitabının yazarları, "Kazanımlar, özellikle modellerimizin güçlü temel çizgilerden birkaç yüzde puan daha iyi performans gösterdiği kodlama gibi üretken ölçütlerde belirgindir" diye yazıyor. Başyazar Fabian Gloeckle, Facebook AI Research'teki meslektaşları ve CERMICS École des Ponts ParisTech ve LISN Université Paris-Saclay'deki işbirlikçi kurumlarla birlikte makaleyi geçen ay arXiv ön baskı sunucusunda yayınladı.

Yazarların temel kaygısı, yüksek lisans eğitimlerinin - etkileyici başarılarına rağmen - akıl yürütme veya planlama gibi şeyleri başaramamasıdır. ChatGPT ve diğerlerinin "sonraki belirteç tahmini" olarak adlandırılan geleneksel yaklaşımı, "dili, dünya bilgisini ve akıl yürütme yeteneklerini edinmenin verimsiz bir yolu olmaya devam ediyor" diye yazıyorlar.

Yapay zeka modelinin, bir dizi belirteçteki bir kelime veya karakter gibi tek bir "belirteci" (örneğin bir cümledeki sonraki kelimeyi) tahmin etmek üzere eğitildiği basit bir sonraki simge tahmini yerine, Meta ekibinin çoklu- belirteç sürümü, her biri dizinin doğru tamamlanması olabilecek birden fazla metin belirtecini aynı anda tahmin edecek şekilde eğitilmiştir.

Teknik olarak Gloeckle'ın ekibi, Transformer olarak bilinen LLM'nin temel yapısını değiştirerek, standart tek kafa yerine her biri bir kelime, karakter veya başka bir sembol üreten dört çıkış "kafasına" sahip olmasını sağladı.

Yaklaşımın doğrudan faydası, yapay zeka modeli yayındayken, yapay zekanın çıkarım aşaması olarak bilinen kullanıcılar için tahminler yaparak bellek açısından daha verimli olabilmesidir. Birden fazla çıkış kafası olasılıkları denemek için perde arkasında çalışabildiğinden, yüksek derecede paralellik meydana gelebilir. Bu "spekülatif kod çözme" biçimi, çoklu jetonlu yaklaşımın her seferinde bir şeyi tahmin etmek yerine "çıkarımı 3 kat hızlandırabileceği" anlamına gelir.

Ayrıca daha derin bir içgörü de var. Her seferinde bir token seçen normal yapay zeka modelleri bir bakıma düzdür: Mevcut tahmin iyi olduğu sürece hiçbir tahmini bir öncekinden daha önemli görmezler.

Aslında ekip, belirli tokenlar arasında büyük bir fark olduğunu tek bir cümleyle belirtiyor. Sık sık alıntılanan noktalama işaretindeki "çubuklamayı bırakın, yavru foklar" - ortadaki ifadede virgülün varlığı veya yokluğu, hayvan hakları için acil bir çağrı ile eğlenceli bir görüntü arasındaki farkı oluşturur. İfadedeki mizah zihinde oyun oynuyor çünkü virgül cümlenin anlamını değiştiriyor.

Gloeckle'ın ekibi, diğerlerinin de gözlemlediği gibi, "dil modellerinden yararlı metinler üretmek için tüm simgesel kararların eşit derecede önemli olmadığı"nı yazdı. "Bazı belirteçler metnin geri kalanını kısıtlamayan üslup değişikliklerine izin verirken, diğerleri metnin daha üst düzey anlamsal özellikleriyle bağlantılı seçim noktalarını temsil eder ve bir cevabın yararlı olarak algılanıp algılanmadığına karar verebilir. veya raydan çıkma."

Ekip, çok kafalı, çok jetonlu yaklaşımın, diğer eşzamanlı tahminlere dayanarak her tahmine uygunluk atadığını yazdı. Ekip, "Genel olarak, metin nesillerinin kalitesinin seçim noktalarında doğru kararları almaya bağlı olduğuna ve n-token tahmin kayıplarının bunları desteklediğine inanıyoruz" diye yazdı.

"Seçim noktası", bir tahminin, tüm ifadeyi oluşturabilecek veya bozabilecek diğer tahminlerin yolda olmasını gerektirdiği anları içerir. Ekip, "Çoklu token tahmini, ardıllarıyla ne kadar yakından ilişkili olduklarına bağlı olarak eğitim tokenlarına dolaylı olarak ağırlıklar atar" diye yazdı.

Benzer şekilde, Gloeckle'ın ekibi bir sonraki kelimeyi seçmeyi bir labirentte ilerlemeye benzetiyor: Her seçim, ödüle giden bir yol ya da korkunç bir kadere giden bir yol olabilir.

"Sıralı tahmin görevini" (bir sonraki kelimeyi tahmin etmeye atıfta bulundukları için) göstermek için bir labirent görüntüsünü kullanırlar. Bir sonraki doğru adım, yapay zeka modelini doğru yola ya da yanlış yola gönderecek çok önemli bir adım olabilir; onların deyimiyle "sonuçsal bir seçim".

Yazarlara göre, bir sonraki doğru jetonu seçmek bir labirentte yürümek gibidir: belirli anlarda, seçim, programı başarıya (kupaya) veya yenilgiye (kafatası ve çapraz kemikler) gönderecek "sonuçsal" bir seçimdir.

Yazarlar, teknolojilerin çarpıcı bir şekilde birleştirilmesiyle, çok belirteçli yaklaşımı RLHF yaklaşımına bağlayarak, çok daha ilerideki bir ödülü tahmin etmeye çalışıyorlar: "Dil modelinin, insan geri bildiriminden takviyeli öğrenmede olduğu gibi bir takviyeli öğrenme ortamında konuşlandırıldığını varsayalım. … [burada] eylemler, oluşturulacak tek belirteçlerdir […]."

Metin tahminini ödül işlevlerine bu şekilde bağlamak, ödül işlevlerinin oyunlarda büyük ilerleme kaydettiği tüm alanları devreye sokar. Ödül işlevleri, yalnızca RLHF'de değil, takviyeli öğrenme olarak adlandırılan her türlü yapay zeka probleminde kullanılır.

Örneğin Google'ın DeepMind birimi, satranç ve Go'da insanları yenebilen AlphaZero programını geliştirmek için pekiştirmeli öğrenmeyi kullandı. Ayrıca AlphaStar programında, gerçek zamanlı strateji oyunu StarCraft II'de insanlara karşı video oyunu beceri yarışmalarında yarışmak için kullanıldı.

Bu oyunlaştırma, çoklu belirteçli yaklaşımdan daha "optimal" bir yanıt üretmenin doğrudan sonucunu doğurur. Yazarlar çeşitli kıyaslama sonuçları sunmaktadır. Örneğin bunlardan biri, 7 milyar sinir parametresine veya ağırlığa sahip bir yapay zeka modelinin, tekli tahminden çoklu token tahminine geçerken performansı nasıl iyileştirdiğini karşılaştırıyor.

Google'da 2021'de geliştirilen "Çoğunlukla Temel Programlama Sorunları" veya MBPP adlı testte, bir yapay zeka modelinin belirli bir işlev için Python satırları gibi kodlar üretmesi gerekiyor. Bu kıyaslamada program, çoklu token tahminiyle her zaman daha yüksek doğruluk elde eder.

Ayrıca tatlı bir nokta var. Yapay zeka modeli eş zamanlı dört tokende en iyi performansı gösteriyor gibi görünse de bundan daha fazlasını (altı veya sekiz) tahmin etmek o kadar da iyi olmayan sonuçlara yol açıyor.

Bir LLM'nin programlama kodu oluşturması gereken "Çoğunlukla Temel Programlama Sorunları" gibi standartlaştırılmış testlerde, 7 milyar sinir parametresi veya ağırlığa sahip aynı boyutlu yapay zeka modeli, daha fazla belirteç üretildiğinde daha fazla doğruluk elde eder. "n", aynı anda üretilen jetonların sayısı.

Sinir ağlarındaki pek çok şeyde olduğu gibi, çoklu jetonlu tahminin neden tek jetonlu tahminden daha iyi olması gerektiği hemen belli değil. Yazarların önerdiği önsezi, bir modeli çoklu token tahmini için eğiterek, ortaya çıkan modelin, yapay zeka modelinin kullanıcılardan gelen gerçek yönlendirmelerle canlı tahminler yaptığında meydana gelen bağlantı kesilmesini önlemesidir. Buna "öğretmen zorlamalı eğitim ile otoregresif nesil arasındaki dağılım uyumsuzluğu" denir.

Gloeckle ve meslektaşları hala çözülmesi gereken çok şey olduğunu yazdı. Hedeflerden biri, en yüksek doğruluğa yol açan eş zamanlı jetonların optimum sayısı olan tatlı noktayı otomatikleştirmeye yönelik bir yöntem geliştirmektir. Bir diğeri, "çoklu jeton tahmini için en uygun kelime dağarcığı boyutlarının bir sonraki jeton tahmini için olanlardan muhtemelen farklı olduğu ve bunların ayarlanmasının daha iyi sonuçlara yol açabileceği" göz önüne alındığında, yapay zeka modelini eğitmek için gereken doğru miktarda verinin otomatik olarak nasıl belirleneceğidir.

Daha büyük bir çıkarım, geleneksel takviyeli öğrenmenin üretken yapay zeka sunacak pek çok kişinin bugüne kadar şüphelendiğinden çok daha fazlasına sahip olabileceğidir ve bu da iki metodolojinin gelecekte daha fazla kaynaşacağını düşündürmektedir.