Üretken yapay zeka, insan düşüncesinin bu çok yaygın yeteneğinde başarısız oluyor

OpenAI'nin GPT-3.5 ve GPT-4'ünün her ikisi de, bu temel bilgisayar görevinin gittikçe artan seviyeleriyle karşı karşıya kaldıklarında düştüler ve bu da tasarımlarında temel bir ihmale işaret etti.

Her bebeğin içine başka bir bebeğin, bir başkasının ve bir başkasının yerleştirildiği ünlü "matryoshka" bebekleri, nesnenin kendisini içerdiği özyineleme ilkesinin klasik bir örneğidir. İnsanlar bu tür özyineleme örneklerini anında fark ediyor, ancak üretken yapay zekanın bununla ilgili hiçbir kavramı yok.

İnsanların sezgisel olarak kavradığı yüce kavramlar arasında, bir şeyin kendisinin sonsuza kadar uzanan bir tür tekrarını içerdiği özyineleme kavramı da vardır. Herhangi bir "film içinde film" yinelemenin bir örneği olabilir. Her ahşap bebeğin açılarak daha küçük bir bebeği ortaya çıkardığı Rusya'nın ünlü Matruşka "yuvalama bebekleri", yinelemenin sevimli bir örneğidir.

Kendinizin, kendinizin bir resmini tuttuğunuz bir resim, sonsuza dek, herkeste keyif yaratan klasik yinelemeli bir görsel fantazidir.

Ancak Illinois Urbana-Champaign Üniversitesi'ndeki akademisyenlere göre, ChatGPT gibi üretken yapay zeka programları da dahil olmak üzere yapay zeka programları, en azından tutarlı bir şekilde özyinelemeyle baş edemiyor. Özyinelemenin üstesinden gelinememesi, yapay zekanın görevlerdeki performansını engeller. Özellikle yapay zeka, bir kod parçasının aynı kodun daha küçük, atomik versiyonunu tekrarladığı programlama görevlerinde başarısız olabilir.

Illinois Üniversitesi'nden baş yazar Shizhuo Dylan Zhang ve makaledeki meslektaşlarına göre, "Örneğin, programlama görevleri için eğitilmiş modeller, iç içe geçmiş bloklara sahip programları yanlış anlayabilir veya dengesiz parantezler üretebilir." "Transformatör Tabanlı Modeller Öğrenme Konusunda Henüz Mükemmel Değildir." Yapısal Özyinelemeyi Taklit Et," bu ay arXiv ön baskı sunucusunda yayınlandı.

Yazarlar, Gen AI'nın özyineleme nedeniyle nasıl takılıp kaldığını incelemek için büyük dil modelleri (LLM'ler) için basit bir test tasarladılar. Bir kod parçası verildiğinde (örneğin sayıları yinelemeli olarak eklemek gibi) bir Yüksek Lisans, koddaki özyineleme modelinin bir tanımını üretebilir mi?

Zhang ve ekibi, ağaç geçişi adı verilen klasik bir programlama görevini seçiyor. Bilgi işlemdeki bir veri türü, daha fazla dallara yol açan dallanma parçalarına (daha fazla ağaç içeren bir ağaç türü) sahipse ağaç türü olarak adlandırılır. Ağacı "geçmek", ağacın her parçasını belirli bir sırayla incelemek anlamına gelir.

Dil modeline (bu durumda GPT-3.5 "Turbo" ve GPT-4 (OpenAI'nin en güçlü modelleri)) sorun ifadesini, ağaç geçişi örneğini ve ağacı gerçekleştirme talimatını içeren bir bilgi istemi girerler. geçiş. GPT'lerden elde edilen çıktı, ağaç geçişinin çözümü ve aynı zamanda bu geçişi gerçekleştirmek için kullanılan kuralın bir açıklaması olmalıdır.

Buldukları şey, ağaç büyüdükçe veya hesaplama açısından daha fazla derinliğe sahip oldukça programların çapraz geçişi çözmede başarısız olmaya başladığıdır. "Büyük dil modellerinin performansı, ağaç derinliği arttıkça önemli bir düşüş sergiliyor, bu da karmaşıklıktaki artış ve gerekli azaltma adımlarının sayısıyla bağlantılı" diye yazıyorlar.

Niteliksel bir analiz, dil modellerinin doğru "indirgemeyi" gerçekleştiremediğini, yani geçişin başarılı bir şekilde devam ettirilmesi için ağaçtaki bazı öğelerin içerdiği özyinelemeli öğeyle değiştirilmesi anlamına geldiğini ortaya koyuyor. "Bu tür bir hata, özellikle görevin kesin bir işlem sırasına bağlı kalmayı gerektirdiği durumlarda, LLM'lerin genişletilmiş diziler üzerinde algoritmik tutarlılığı koruma konusunda karşılaştığı zorlukların altını çiziyor" diye yazıyorlar.

LLM'ler yalnızca bazı geçişleri doğru bir şekilde çözmekte başarısız olmakla kalmıyor, aynı zamanda programlar, komut isteminde bir örnek verildiğinde, başarılı bir geçiş için kullanılabilecek kuralın ne olduğunu açıklayamıyor.

Zhang ve ekibi şöyle yazıyor: "LLM'ler bağlam içi örneklerden doğru kuralları bulmakta zorlanıyor ve bağlam içi adım adım azaltma gerçekleştirirken ilginç şekillerde başarısız oluyor."

Programların özyinelemeyi işleyememesi ne anlama geliyor?

Zhang ve ekibi, bir düzeyde özyinelemeyle çalışma becerisinin eksikliğinin mantık eksikliğine işaret ettiğini yazıyor. "Ağaç geçişinde her bir azaltma adımını gerçekleştirmek, daha karmaşık mantıksal akıl yürütmeyi gerektirir" ve bu, programlarda yoktur.

Ancak biçimsel mantığı çok iyi kavramayan insanlar bile "film içinde film" türünde ve diğer örneklerde meydana gelen yineleme türünü anında takdir edebilirler.

Yazarlar, çok daha basit bir düzeyde, GPT'lerin tasarımının yaratıcıları tarafından yeniden değerlendirilmesi gerektiğini öne sürüyor.

"Başarısızlıkların temel nedeninin, modelin özyinelemeli kalıpları yeterince iyi temsil edecek şekilde optimize edilmemiş olması olduğunu varsayıyoruz" diye yazıyorlar. "Bağlam içi öğrenme deneylerimiz, LLM'lerin verilerden yinelenmeyen kuralları çıkarma eğiliminde olduğundan 'özyinelemeli düşünme' yeteneğinin olmadığını ortaya çıkardı.

"Ayrıca modeller, adım adım azaltma gerçekleştirirken doğruluktan yoksundur; ortada kaybolabilirler veya durdurma koşulunu uygulayamayabilirler."

Özyinelemenin üstesinden gelinememesinin, makale yazmaktan bilgisayar programlamaya kadar çeşitli görevlerde Gen AI'nın performansını engelleyebileceği tüm yollar çalışmanın dışında bırakıldı. Zhang ve ekibinin belirttiği gibi programların, öğrendikleri küçük hilelerle bunu bir noktaya kadar telafi edebildiği doğrudur.

Yine de özyineleme o kadar temel bir olgudur ki, bir noktada yokluğunun programlar açısından sonuçları olması kaçınılmazdır.