Meta'nın yapay zeka uzmanı LeCun, derin öğrenmenin enerji sınırını keşfediyor

İstatistiksel fizikten kavramlar ödünç alan enerji tabanlı modeller, 'soyut tahmine' yol açabilir, diyor Yann LeCun, planlama yeteneğine sahip yapay zeka için 'birleşik bir dünya modeli'ne izin vererek.

Meta'nın baş bilim insanı Yann LeCun, istatistiksel fizik kavramlarından ödünç alan sözde enerji tabanlı modellerin, soyut tahminler yapan yapay zekanın derin öğrenme biçimlerine yol açabileceğini söylüyor.

Otuz yıl önce, Yann LeCun, Bell Labs'tayken, görüntü tanıma gibi görevleri çözmede son derece üretken olduğunu kanıtlayacak evrişimli sinir ağları adı verilen bir makine öğrenimi yaklaşımını resmileştirdi. CNN'ler, yaygın olarak bilindiği gibi, AI'nın derin öğrenmesinin bir beygir gücüdür ve LeCun'a 2019'da bilgi işlem için Nobel'e eşdeğer olan prestijli ACM Turing Ödülü'nü kazanmıştır. 

Geçen hafta ZDNet'e verdiği röportajda, hem NYU'da profesör hem de Meta'da baş bilim insanı olan LeCun'un son 30 yıldır en heyecanlı olduğunu söyledi. Nedeni: Yeni keşifler, yapay zekada CNN'ler kadar üretken olabilecek uzun bir araştırma hattını canlandırıyor.

LeCun'un keşfettiği bu yeni sınır, enerji tabanlı modeller olarak biliniyor. Bir olasılık fonksiyonu, "bir rastgele değişkenin veya rastgele değişkenler kümesinin olası durumlarının her birini alma olasılığının bir açıklaması" iken (bakınız Derin Öğrenme, Ian Goodfellow, Yoshua Bengio ve Aaron Courville, 2019), enerji tabanlı modeller iki değişken arasındaki uyumu basitleştirir. İstatistiksel fizikten bir dil ödünç alan enerji tabanlı modeller,  iki değişken arasındaki enerjinin uyumsuzlarsa yükseldiğini ve uyum içinde olduklarında ne kadar çok düşerse o kadar düştüğünü varsayar. Bu, bir olasılık dağılımının "normalleştirilmesinde" ortaya çıkan karmaşıklığı ortadan kaldırabilir.

Bu, makine öğreniminde en azından 1980'lere kadar uzanan eski bir fikirdir, ancak o zamandan beri enerji tabanlı modelleri daha uygulanabilir hale getirme yönünde ilerleme kaydedilmiştir. LeCun, ZDNet tarafından bildirildiğine göre, 2019'da Princeton'daki İleri Araştırmalar Enstitüsü'nde yaptığı bir konuşma da dahil olmak üzere, konuyla ilgili çalışmaları gelişirken son yıllarda birkaç konuşma yaptı.

Daha yakın zamanlarda, LeCun, enerji temelli model araştırmasının mevcut durumunu iki makalede tanımladı. Geçen yaz Facebook AI Research ve VICReg'den meslektaşlarıyla birlikte yayınlanan "Barlow Twins", Ocak ayında FAIR ve Fransa'nın Inria ile École normale supérieure'de yayınlandı. 

LeCun'un konuşmada kabul ettiği gibi, bunların bazılarında kuantum elektrodinamiği ile ilgi çekici paralellikler var, ancak odak noktası bu değil. Odak noktası, yapay zeka sistemleri için ne tür tahminlerin geliştirilebileceğidir.

LeCun'un geliştirdiği modern enerji tabanlı modellerin bir versiyonunu kullanarak, "ortak gömme modeli" olarak adlandırdığı şeyi, LeCun, derin öğrenme sistemlerine "büyük bir avantaj" olacağına inanıyor, yani "tahminin soyut bir temsil alanında gerçekleştiğine" inanıyor. 

LeCun, bunun "dünyanın soyut temsillerini tahmin etmenin" yolunu açtığını savunuyor. Soyut tahmin yeteneklerine sahip derin öğrenme sistemleri, genel anlamda planlamaya giden bir yol olabilir, burada bu tür soyutlama tahmin makinelerinin "yığınları", sistem çıkarım modundayken planlama senaryoları üretmek için katmanlandırılabilir. 

Bu, LeCun'un otonom yapay zeka olarak adlandırdığı şeyi ilerletecek birleşik bir "dünya modeli" olabileceğine inandığı şeyi başarmak için önemli bir araç olabilir, senaryolar arasında ve dünyayla ilgili görüntü, konuşma ve diğer girdiler arasında bağımlılıkları modelleyerek planlama yapabilen bir şey. 

Aşağıda, Zoom üzerinden yaptığımız konuşmanın düzenlenmiş bir versiyonu yer almaktadır.

ZDNet: Her şeyden önce, bizi yönlendirmeye yardımcı olmak için, son zamanlarda makine öğreniminde kendi kendine denetimli öğrenmeden bahsettiniz ve denetimsiz öğrenme terimi de ortalıkta dolaşıyor. Denetimsiz öğrenme ile kendi kendine denetimli öğrenme arasında nasıl bir ilişki vardır?

Yann LeCun: Bence kendi kendine denetimli öğrenmeyi, denetimsiz öğrenmenin özel bir yolu olarak düşünüyorum. Denetimsiz öğrenme biraz yüklü bir terimdir ve makine öğrenimi bağlamında çok iyi tanımlanmamıştır. Bundan bahsettiğinizde, insanların aklına, bilirsiniz, kümeleme ve PCA [temel bileşen analizi], bu tür şeyler ve çeşitli görselleştirme yöntemleri gelir. Dolayısıyla, kendi kendine denetimli öğrenme, temel olarak, denetimsiz öğrenme için denetimli öğrenme yöntemlerine ne kadar tekabül ettiğini kullanma girişimidir: denetimli öğrenme yöntemlerini kullanırsınız, ancak insan tarafından sağlanan etiketler olmadan bir sinir ağını eğitirsiniz. Bu nedenle, bir videonun bir parçasını alın, videonun bir bölümünü makineye gösterin ve örneğin videonun bir sonraki adımında ne olacağını tahmin etmesini isteyin. Ya da ona iki parça video gösterin ve ona sorun, Bu onun devamı mı? Tahmin etmesini istemek değil, size bu iki sahnenin uyumlu olup olmadığını söylemesini istemek. Ya da ona aynı nesnenin iki farklı görünümünü gösterin ve ona sorun, Bu iki şey aynı nesne mi? Yani, bu tür bir şey. Bu nedenle, sisteme verdiğiniz tüm verilerin esasen girdi olması anlamında bir insan denetimi yoktur.

ZDNet: Son yıllarda, 2019'da Princeton, New Jersey'de bulunan Institute for Advanced Study'de (IAS) ve daha yakın zamanda, Baidu'nun ev sahipliğinde Şubat ayında derin öğrenmeye enerji tabanlı yaklaşımlar olarak adlandırılan yöntemler hakkında bir konuşma da dahil olmak üzere birçok konuşma yaptınız. Bu enerji temelli modeller, denetimsiz öğrenmenin kendi kendini denetleyen segmentine giriyor mu?

YL: Evet. Enerji temelli bir model bağlamında her şey varsayıldığı gibi olabilir. Sana bir X ve bir Y veriyorum; X gözlemdir ve Y, modelin X'e göre bağımlılığını yakalaması gereken bir şeydir. Örneğin, X videonun bir bölümüdür, Y başka bir bölümdür ve sisteme X ve Y'yi gösteririm, bana Y'nin X'in devamı olup olmadığını söylemesi gerekir. Ya da iki görüntü, birbirlerinin çarpıtılmış bir versiyonu mu, yoksa tamamen farklı nesneler mi? Yani, enerji bu uyumluluğu veya uyumsuzluğu ölçer, değil mi? İki parça uyumlu olsaydı sıfır olurdu ve o zaman bazı büyük sayılarda değiller. 

Ve enerji tabanlı modelleri eğitmek için iki stratejiniz var. Birincisi, ona uyumlu X, Y çiftlerini gösteriyorsunuz ve ayrıca uyumsuz X, Y çiftlerini de gösteriyorsunuz. Eşleşmeyen iki video segmenti, iki farklı nesnenin görüntülemeleri. Ve böylece, bu [uyumsuz çiftler] için, enerjinin yüksek olmasını istersiniz, bu yüzden enerjiyi bir şekilde yukarı itersiniz. Uyumsuz olanlar için ise enerjiyi aşağı itersiniz. 

Bunlar zıt yöntemlerdir. Ve en azından bazı bağlamlarda, onları "siyam ağları" adı verilen belirli bir tür özdenetimli öğrenme için icat ettim. Eskiden onların hayranıydım, ama artık değil. Bu konudaki fikrimi değiştirdim. Bence bu yöntemler ölüme mahkumdur. İşe yaramaz olduklarını düşünmüyorum ama yeterli olmadıklarını da düşünüyorum çünkü bu şeylerin boyutuyla çok iyi ölçeklenmiyorlar. Şöyle bir çizgi var; Tüm mutlu çiftler aynı şekilde mutludur, tüm mutsuz çiftler farklı şekillerde mutsuzdur. [Tolstoy, Anna Karenina, "Mutlu ailelerin hepsi birbirine benzer; her mutsuz aile kendi tarzında mutsuzdur."] 

Aynı hikaye. İki görüntünün aynı veya uyumlu olmasının yalnızca birkaç yolu vardır; İki görüntünün farklı olmasının pek çok yolu vardır ve alan yüksek boyutludur. Yani, temel olarak, bu kontrastlı yöntemlerin çalışmasını sağlamak için katlanarak çok sayıda kontrastlı enerji örneğine ihtiyacınız olacaktır. Hala oldukça popülerler, ama bence gerçekten sınırlılar. Bu yüzden benim tercih ettiğim şey, kontrastsız yöntem veya sözde düzenli yöntemlerdir. 

"İki görüntünün aynı veya uyumlu olmasının yalnızca birkaç yolu vardır; İki görüntünün farklı olmasının pek çok yolu vardır ve alan yüksek boyutludur."

Ve bu yöntemler, enerji fonksiyonunu, düşük enerji verdiğiniz değerin bulunduğu alanın hacmi sınırlı olacak şekilde inşa edeceğiniz fikrine dayanır. Ve bu, kayıp fonksiyonundaki bir terimle veya enerji fonksiyonundaki bir terimle yorumlanabilir: Bir şekilde düşük enerji alabilen alan hacmini en aza indirin. Bunun birçok örneğine sahibiz. Bunlardan biri 1990'lara kadar uzanan integral seyrek kodlamadır. Ve bugünlerde beni gerçekten heyecanlandıran şey, kendi kendine denetimli öğrenmeye uygulanan zıt olmayan yöntemler.

ZDNet: Ve özellikle konuşmalarınızda "düzenli gizli değişken enerji tabanlı model" olarak adlandırdığınız RLVEB'den bahsettiniz. 2020'lerin veya 2030'ların yeni evrişimli sinir ağlarının ileriye giden yolun bu olduğunu mu söylüyorsunuz?

YL: Peki, şöyle ifade edeyim: Evrişimli ağlardan beri makine öğreniminde bir şey beni bu kadar heyecanlandırmamıştı, tamam mı? [Gülüyor] Bunun yeni kıvrımlar olduğundan emin değilim, ama gerçekten beni çok heyecanlandıran bir şey. IAS'de konuşurken aklımda olan şey bu düzenli gizli değişken üretici modeldi. Onlar üretken modellerdi, çünkü yaptığınız şeyi, video tahmini gibi bir şeye uygulamak istiyorsanız, ona bir video parçası verirsiniz, ondan videonun bir sonraki bölümünü tahmin etmesini istersiniz. 

Şimdi, son birkaç yılda bu konudaki fikrimi de değiştirdim. Şimdi, en sevdiğim model, X'ten Y'yi tahmin eden üretken bir model değil. Ben buna X'i alan, onu bir kodlayıcıdan, isterseniz bir sinir ağından geçiren eklem gömme modeli diyorum; Y'yi alır ve aynı zamanda farklı bir kodlayıcı olan bir kodlayıcıdan geçirir; Ve sonra tahmin bu soyut temsil uzayında gerçekleşir. Bunun çok büyük bir avantajı var. 

Her şeyden önce, bu konudaki fikrimi neden değiştirdim? Fikrimi değiştirdim çünkü daha önce bunu nasıl yapacağımızı bilmiyorduk. Şimdi bunu yapmak için gerçekten işe yarayan birkaç yöntemimiz var. Ve bu yöntemler son iki yılda ortaya çıktı. Zorladıklarım, aslında benim ürettiğim iki tane var; biri VIC-REG, diğeri ise Barlow Twins olarak adlandırılıyor. 

ZDNet: Peki, önümüzdeki beş ila on yıl içinde bu mantık çizgisinde ne gibi ilerlemeler görebileceğinizi düşünüyorsunuz?

YL: Sanırım şimdi en azından bizi soyut uzayda tahmin etmeyi öğrenebilecek sistemlere doğru taşıyabilecek bir yaklaşımımız var. Soyut tahmin etmeyi öğrenebildikleri gibi, zaman içinde veya durumlar üzerinde, bu soyut uzayda ne olacağını tahmin etmeyi de öğrenebilirler. Ve eğer otonom bir akıllı sisteme sahip olmak istiyorsanız, örneğin, dünya evrimleştiği için veya eylemlerinin sonuçları olarak dünyada ne olacağını önceden tahmin etmenize izin veren bir dünya modeline sahip olmak istiyorsanız, bu önemli bir parçadır. Yani, dünyanın durumuna ilişkin bir tahmin verildiğinde ve gerçekleştirdiğiniz bir eylem verildiğinde, eylemi gerçekleştirdikten sonra dünyanın durumunun ne olabileceğine dair bir tahmin verir. 

ENERJİ TABANLI MODEL: "Kendi Kendine Denetimli Öğrenme İçin Varyans-Değişmezlik-Kovaryans Yeniden Düzenleme"nin kısaltması olan "VICREG", LeCun'un enerji tabanlı sinir ağı mimarisine en son yaklaşımıdır. Bir dizi görüntü iki farklı ardışık düzende dönüştürülür ve her bozulmuş görüntü, onu esasen sıkıştıran kodlayıcıya gönderilir. Ardından, "genişletici" olarak da bilinen bir projektör, bu sıkıştırılmış temsili son bir "gömme" olan Z boyutuna açar. Programın bir şeyin tanımlandığı uygun düşük enerji seviyesini bulmasını sağlayan, bozulmalarına değişmez olan bu iki gömme arasındaki benzerliktir. 

Ve bu tahmin aynı zamanda gözlemleyemediğiniz bazı gizli değişkenlere de bağlıdır. Örneğin, arabanızı sürerken önünüzde araba var; Fren yapabilir, hızlanabilir, sola dönebilir veya sağa dönebilir. Önceden bilmenin bir yolu yok. İşte bu gizli değişkendir. Ve böylece genel mimari, bilirsiniz, X ve Y'yi, ilk video setini, gelecekteki videoyu alıp, onları bir sinir ağına gömdüğünüz, bu iki şeyin iki soyut temsiline sahip olduğunuz bir şeydir. Ve bu alanda, gizli değişkenlerden birini, enerji tabanlı tahmin modellerini yapıyorsunuz. 

Mesele şu ki, model şimdi dünyanın soyut temsillerini öngörüyor. Birçoğu alakasız olabilecek dünyanın tüm ayrıntılarını tahmin etmiyor. Yani, bu arabayı yolda kullanıyorsunuz; Yolun kenarında bir ağacın yapraklarının ultra karmaşık bir kısmına sahip olabilirsiniz. Ve bunu tahmin etmenin kesinlikle bir yolu yok ya da bunu tahmin etmek için herhangi bir enerji veya kaynak ayırmak istemezsiniz. Dolayısıyla bu kodlayıcı, esasen, sorulmadan önce bu bilgiyi ortadan kaldırabilir.

ZDNet: Ve yine, önümüzdeki beş ila on yıl içinde bazı belirli kilometre taşları öngörüyor musunuz? Ya da hedefler?

"Peki, bir makineyi nasıl planlayabilirsiniz? Dünyanın tahmine dayalı bir modeline sahipseniz... O zaman sistemin hareket tarzını hayal etmesini sağlayabilirsiniz, ortaya çıkan sonucu hayal edebilirsiniz."

YL: Öngördüğüm şey, bu prensibi kullanabileceğimiz -- ben buna JEPA mimarisi diyorum, Joint Embedding Predictive Architecture (Müşterek Gömme Öngörücü Mimarisi) ve bununla ilgili bir blog yazısı var, ve bununla ilgili hazırladığım uzun bir makale var -- ve bundan gördüğüm şey, artık dünyanın tahmine dayalı modellerini öğrenmek için bir aracımız olduğu, Sistemi belirli bir görev için eğitmek zorunda kalmadan, algıların temsillerini kendi kendini denetleyen bir şekilde öğrenmek. Ve sistemler hem X'in hem de Y'nin soyut temsillerini öğrendiği için, onları istifleyebiliriz. Dolayısıyla, çevremizdeki dünyanın kısa vadeli tahminler yapmamıza izin verebilecek soyut bir temsilini öğrendikten sonra, belki de daha uzun vadeli tahminler yapmamıza izin verecek daha soyut temsilleri öğrenecek başka bir katman yığabiliriz. 

Bu, dünyanın nasıl çalıştığını gözlemleyerek, video izleyerek öğrenecek bir sisteme sahip olmak için çok önemli olurdu, değil mi? Yani, bebekler temel olarak, dünyayı izleyerek öğrenirler ve sezgisel fiziği ve dünya hakkında bildiğimiz her şeyi öğrenirler. Ve hayvanlar da bunu yapar. Ve makinelerimizin bunu yapmasını sağlamak istiyoruz. Ve şimdiye kadar bunu başaramadık. Dolayısıyla, bence, bunu yapmanın yolu budur, ortak gömme mimarisini kullanmak ve bunları hiyerarşik bir şekilde incelemek.

Bize yardımcı olabileceği diğer şey, akıl yürütme yeteneğine sahip derin öğrenme makineleridir. Yani, bir tartışma konusu, isterseniz, derin öğrenmenin şimdiye kadar iyi olduğu şey algıdır, bilirsiniz, olan şeyler, işte bir girdi, işte çıktı. Ya bir sistemin temelde akıl yürütmesini, planlamasını istiyorsanız? Daha karmaşık modellerin bazılarında biraz bu oluyor, ama aslında o kadar da değil. 

Ve böylece, bir makinenin planlamasını nasıl sağlarsınız? Eğer dünyanın tahmine dayalı bir modeline sahipseniz, sistemin eylemlerinin bir sonucu olarak ne olacağını tahmin etmesine izin veren bir modeliniz varsa, o zaman sistemin hareket tarzını hayal etmesini sağlayabilirsiniz, sonuçta ortaya çıkan sonucu hayal edin ve sonra bunu bir ev fonksiyonuna besleyebilirsiniz. Bilirsiniz, görevin başarılıp tamamlanmadığını karakterize eder, bunun gibi bir şey. Ve sonra, optimizasyon yoluyla, muhtemelen gradyan inişini kullanarak, bu hedefi en aza indiren bir dizi eylem bulun. Öğrenmekten bahsetmiyoruz; Şimdi çıkarımdan, planlamadan bahsediyoruz. Aslında, burada anlattığım şey, model tahmine dayalı kontrol için klasik bir planlama ve optimal kontrol yöntemidir.

Optimal kontrolün farkı, bunu bir tür kablolu olanın aksine, öğrenilmiş bir dünya modeliyle yapmamızdır. Ve bu model, dünyanın belirsizliğini idare edecek her değişkene sahip olacaktı. Bu, geleceği hayal edebilen, bir dizi eylem planlayabilen özerk bir istihbarat sisteminin temeli olabilir. 

Buradan San Francisco'ya uçmak istiyorum; Havaalanına gitmem, uçağa binmem vb. Gerekiyor. Havaalanına gitmek için binamdan çıkmam, caddeden aşağı inmem ve taksiye binmem gerekiyor. Binamdan çıkmak için sandalyemden kalkmam, kapıya doğru gitmem, kapıyı açmam, asansöre veya merdivenlere gitmem gerekiyor. Ve bunu yapmak için, bunu milisaniye ve milisaniye kas kontrolüne nasıl ayrıştıracağımı bulmam gerekiyor. Buna hiyerarşik planlama denir. Ve sistemlerin bunu yapabilmesini istiyoruz. Şu anda bunu gerçekten yapamıyoruz. Bu genel mimariler bize bunları sağlayabilir. Umudum bu.  

ZDNet: Enerji tabanlı modelleri tanımlama şekliniz biraz kuantum elektrodinamiğinin elemanlarına benziyor, örneğin Dirac-Feynman yol integrali veya dalga fonksiyonu gibi, olasılıkların genliklerinin dağılımının toplamı gibi. Belki de bu sadece mecazi bir bağlantıdır, ya da belki de gerçekten bir yazışma vardır?

YL: Bu sadece bir metafor değil, kısmen farklı. Gizli bir değişkeniniz varsa ve bu gizli değişken bir sürü farklı değer alabiliyorsa, tipik olarak yaptığınız şey, bu gizli değişkenin tüm olası değerleri arasında geçiş yapmaktır. Bu pratik olmayabilir. Bu nedenle, bu gizli değişkeni bazı dağılımlardan örnekleyebilirsiniz. Ve sonra hesapladığınız şey, olası sonuçlar kümesidir. Fakat, gerçekten, hesapladığınız şey, sonuçta, gizli değişkenin olası değerlerinin ortalamasını aldığınızda beklenen bir değer veren bir maliyet fonksiyonudur. Ve bu aslında bir yol integraline çok benziyor. Yol integrali, esasen birden fazla yol üzerindeki enerjinin toplamını hesaplıyorsunuz. En azından klasik şekilde. Kuantum yolunda, olasılıkları veya puanları toplamıyorsunuz; Birbirini iptal edebilecek karmaşık sayıları topluyorsunuz. Bizimkinde böyle bir şey yok, her ne kadar böyle şeyler hakkında düşünsek de -- en azından, ben böyle şeyler hakkında düşünüyordum. Ancak bu bağlamda kullanılmaz. Ancak gizli bir değişken üzerinde marjinalleştirme fikri, yollar veya yörüngeler üzerinde toplama fikrine çok benzer; Buna çok benziyor. 

ZDNet: Oldukça çarpıcı iki iddiada bulundunuz. Birincisi, derin öğrenmenin olasılıksal yaklaşımının sona ermiş olmasıdır. Ve tartıştığınız enerji temelli modellerin, Hopfield Nets gibi 1980'lerin yaklaşımlarıyla bir bağlantısı olduğunu kabul ettiniz. Bu iki noktayı detaylandırmak ister misiniz?

"Bilinç, beynimizin sınırlarının bir sonucudur. Sonsuz büyüklükte bir beynimiz olsaydı, bilince ihtiyacımız olmazdı."

YL: Olasılıksal modelleri terk etmemizin nedeni, iki değişken, X ve Y arasındaki bağımlılığı modelleyebilmenizdir; eğer Y yüksek boyutluysa, Y üzerindeki dağılımı nasıl temsil edeceksiniz? Bunu nasıl yapacağımızı bilmiyoruz, gerçekten. Sadece çok basit bir dağılımı, bir Gauss dağılımını veya Gauss karışımını ve bunun gibi şeyleri yazabiliriz. Karmaşık olasılık ölçümlerine sahip olmak istiyorsanız, bunu nasıl yapacağımızı bilmiyoruz ya da nasıl yapacağımızı bilmemizin tek yolu bir enerji fonksiyonudur. Yani düşük enerjinin yüksek olasılığa karşılık geldiği ve yüksek enerjinin düşük olasılığa karşılık geldiği bir enerji fonksiyonu yazıyoruz, fizikçiler enerjiyi bu şekilde anlıyorlar, değil mi? Sorun şu ki, asla, nadiren nasıl normalleşeceğimizi bilmiyoruz. İstatistik, makine öğrenmesi, hesaplamalı fizik vb. alanlarda, bu terimin anlaşılmaz olduğu problemini nasıl aşacağınızla ilgili pek çok makale var. 

Temel olarak savunduğum şey, olasılıksal modellemeyi unutmak, sadece enerji fonksiyonunun kendisiyle çalışmak. Enerjinin normalleştirilebilecek bir biçime bürünmesine bile gerek yoktur. Sonunda ortaya çıkan şey, veri modelinizi eğitirken en aza indirdiğiniz bir kayıp fonksiyonuna sahip olmanız gerektiğidir, bu da uyumlu olan şeylerin enerji fonksiyonunu düşük ve uyumsuz olan şeylerin enerji fonksiyonunu yüksek hale getirir. Bu kadar basit.

ZDNet: Ve Hopfield Nets gibi şeylerle bağlantı?

YL: Kesinlikle Hopfield Ağları ve Boltzmann Makineleri bunun için önemlidir. Hopfield Ağları, kontrastsız bir şekilde eğitilen enerji tabanlı modellerdir, ancak son derece verimsizdirler, bu yüzden kimse onları kullanmaz.

Boltzmann Makineleri temel olarak Hopfield Ağlarının zıt bir versiyonudur, burada veri örnekleriniz vardır ve bunların enerjisini düşürürsünüz ve başka örnekler üretirsiniz ve enerjilerini yukarı itersiniz. Ve bunlar bir şekilde biraz daha tatmin edicidir, ancak çok iyi çalışmazlar çünkü bunlar kontrastlı yöntemlerdir ve kontrastlı yöntemler çok iyi ölçeklenmezler. Bu nedenle onlar da kullanılmıyor.

ZDNet: Peki, düzenli, gizli değişken enerji tabanlı modeller gerçekten Hopfield Net 2.0 olarak düşünülmeli mi?

YL: Hayır, öyle demezdim.

ZDNet: "Sadece tek bir dünya modeli" olduğu ve bilincin insan beyninde "bir dünya modelinin kasıtlı konfigürasyonu" olduğu konusunda oldukça çarpıcı bir iddiada daha bulundunuz. Bunu belki de çılgınca bir hipotez olarak nitelendirdiniz. Bu sizin açınızdan bu varsayım mı, bu çılgın hipotez mi, yoksa bunun için kanıt var mı? Ve bu durumda ne delil olarak sayılır?

YL: Evet ve evet. Bu bir varsayım, çılgınca bir fikir. Bilinçle ilgili her şey, bir dereceye kadar, varsayım ve çılgınca bir fikirdir, çünkü ilk etapta bilincin ne olduğunu gerçekten bilmiyoruz. Bu konudaki bakış açım, bunun biraz yanılsama olduğu yönünde. Ama burada değinmek istediğim nokta, ki bu biraz yüzeyseldir, bilincin, insanların ve bazı hayvanların çok zeki oldukları için sahip oldukları bu tür bir yetenek olarak düşünülmesidir. Ve benim vurgulamak istediğim nokta, bilincin beynimizin sınırlılıklarının bir sonucu olduğudur, çünkü bilince ihtiyacımız var çünkü kafamızda tek, bir tür, dünya modeli motorumuz var ve onu kontrol edecek bir şeye ihtiyacımız var. Ve bize bilinç yanılsamasını veren de budur. Ama eğer sonsuz büyüklükte bir beynimiz olsaydı, bilince ihtiyacımız olmazdı. 

Kafamızda az ya da çok tek bir simülasyon motoruna sahip olduğumuza dair en azından bazı kanıtlar var. Ve bunun kanıtı, temelde herhangi bir zamanda yalnızca bir bilinç görevini deneyebileceğimizdir. Biz göreve konsantre oluyoruz; Planladığımız eylemlerimizin sonuçlarını bir nevi hayal ederiz. Bunlardan aynı anda yalnızca birini yapabilirsiniz. Aynı anda birden fazla görevi yapabilirsiniz, ancak bunlar esasen düşünmeden yapmak için kendimizi eğittiğimiz bilinçaltı görevlerdir. Bilinçaltı bir görev haline gelecek kadar uzun süre sürüş pratiği yaptıktan sonra, sürüş sırasında yanımızdaki biriyle konuşabiliriz. Ancak araba kullanmayı öğrendiğimiz ilk saatlerde bunu yapamayız; Sürüş görevine konsantre olmalıyız. Olabilecek şeylerin tüm olası korkutucu senaryolarını anlamak için dünya modeli tahmin motorumuzu kullanmalıyız.

ZDNet: Eğer böyle bir şey bir varsayımsa, o zaman şu anda işinizde sizin için pratik bir önemi yok, değil mi?

YL: Hayır, önerdiğim bu otonom yapay zeka modeli için öyle, geleceği planlamak ve hayal etmek ve tamamen gözlemleyemeyeceğiniz şeylerin boşluklarını doldurmak amacıyla tek bir yapılandırılabilir dünya modeli simülasyon motoruna sahip. Yapılandırılabilir tek bir modele sahip olmanın hesaplama avantajı vardır. Yapılandırdığınız tek bir motora sahip olmak, sistemin bu bilgiyi görevler arasında, gözlem yoluyla öğrendiğiniz dünyadaki her şeyde ortak olan şeyler veya temel mantık gibi şeyler arasında paylaşmasına izin verebilir. Yapılandırdığınız bu büyük modele sahip olmak, ayrı ayrı eğitilmesi gerekebilecek farklı görevler için tamamen ayrı bir modele sahip olmaktan çok daha verimlidir. Ama bunu zaten görüyoruz, değil mi? Eskiden, Facebook'ta eski zamanlarda -- hala Facebook olarak adlandırıldığı zamanlarda, görüntüleri analiz etmek, sıralama ve filtreleme yapmak için kullandığımız vizyon, özel sinir ağlarımız, özel evrişimli ağlarımız vardı, temelde, farklı görevler için. Ve şimdi her şeyi yapan devasa bir tane var. Eskiden yarım düzine ConvNet'imiz vardı; Şimdi, sadece bir tane var.

Yani, bu yakınsamayı görüyoruz. Artık her şeyi yapan mimarilerimiz bile var: tek bir mimariyle vizyon yapıyorlar, metin yapıyorlar, konuşma yapıyorlar. Üç görev için ayrı ayrı eğitilmeleri gerekiyor, ancak bu iş, data2vec, kendi kendini denetleyen bir yaklaşım.

ZDNet: Çok ilgi çekici! Zaman ayırdığınız için teşekkür ederim.