Meta'nın AI görüntü oluşturucusu, dilin ihtiyacınız olan tek şey olabileceğini söylüyor

CM3Leon programı, difüzyon gibi yaklaşımların hesaplamasının çok küçük bir kısmıyla yüksek çözünürlüklü görüntüler üretebilir.

Meta'nın CM3Leon'u, GPU hesaplamasının bir kısmını kullanarak, karmaşık nesne kombinasyonları ve eller ve metin gibi işlenmesi zor şeyler içeren görüntüler elde eder ve karşılaştırmalı FID skorunda yeni bir teknoloji düzeyi elde eder.

Son birkaç yıldır dünya, bir cümleyi yazdığınızda görüntüler üreten yapay zeka programları, Stable Diffusion ve DALL*E gibi istediğiniz tarzda görüntüler çıkaran ve çeşitli komutlar kullanılarak incelikle değiştirilebilen programlar karşısında hayrete düştü. farklı uyarılmış ifadeler.

Tipik olarak bu programlar, örnek görüntüler üzerinde bir sıkıştırma işlemi gerçekleştirerek örnek görüntüleri değiştirmeye ve ardından orijinali kurtarmak için sıkıştırmayı açmaya dayanır; bu sayede, yayılma olarak adlandırılan bir süreç olan görüntü oluşturma kurallarını öğrenirler.

Ayrıca: Üretici Yapay Zeka: Science dergisindeki bilim insanları, ona 'sanatçı' demeyin

Meta'nın geçen hafta tanıttığı çalışma çok daha basit bir şeyi öneriyor: Bir görüntü, kelimeler gibi yalnızca bir dizi kod olarak ele alınabilir ve ChatGPT'nin metin satırlarını yönlendirdiği şekilde ele alınabilir.

Yapay zekada ihtiyacınız olan tek şey dil olabilir.

Sonuç, karmaşık konuları birden fazla öğeyle ele alabilen bir programdır ("Motosiklet kaskı ve pelerin takan bir oyuncak ayı, arka planda Dois Irmãos ile Rio de Janeiro'da motosiklete biniyor.") Eller ve eller gibi zor nesneleri görüntüleyebilir. metin, birçok görüntü oluşturma programında çarpıtılma eğiliminde olan şeyler. Belirli bir görüntüyü ayrıntılı olarak tanımlamak veya belirli bir görüntüyü hassas bir şekilde değiştirmek gibi diğer görevleri yerine getirebilir. Ve bu, genellikle ihtiyaç duyulan bilgi işlem gücünün çok küçük bir kısmıyla yapılabilir.

Facebook Yapay Zeka Araştırması'ndan (FAIR) Lilu Yu ve meslektaşları tarafından Meta'nın Yapay Zeka araştırma sitesinde yayınlanan "Otoregresif Çok Modlu Modelleri Ölçeklendirme: Eğitim Öncesi ve Talimat Ayarlama" başlıklı makaledeki temel fikir, görüntüleri sanki onlarmış gibi kullanmaktır. kelimeler. Veya daha doğrusu, metin ve görüntü, görüntüleri belirteçlerle değiştirmek için bir "kod kitabı" kullanan sürekli cümleler olarak birlikte çalışır.

Yu ve ekibi şöyle yazıyor: "Yaklaşımımız, otoregresif modellerin kapsamını genişletiyor ve bunların maliyet etkinliği ve performans açısından difüzyon modelleriyle rekabet etme ve bunları aşma potansiyelini ortaya koyuyor."

Kod kitabı fikri, Patrick Esser ve Heidelberg Üniversitesi'ndeki meslektaşlarının 2021'deki çalışmalarına dayanıyor. Görüntü dosyalarını işleme konusunda uzman olan, evrişimli sinir ağı (veya CNN) adı verilen, uzun süredir devam eden bir tür sinir ağını uyarladılar. Görüntüleri üretebilen, üretken rakip ağ veya GAN adı verilen bir yapay zeka programının eğitilmesiyle CNN, bir görüntünün kenarlar gibi özelliklerini bir kod kitabındaki girişlerle ilişkilendirmek için yapıldı."

Bu endeksler daha sonra ChatGPT gibi bir dil modelindeki kelimelerin bir sonraki kelimeyi tahmin etme şekliyle tahmin edilebilir. Yüksek çözünürlüklü görüntüler, çok daha az yoğun bir işlem olan piksel tahmini yerine indeks tahminleri dizisi haline gelir.

CM3Leon'un girdisi, görüntülerin kod kitabı girişine referans olan metin biçimindeki başka bir simgeye indirgendiği bir dizi belirteçtir.

Meta'dan Yu ve meslektaşları, kod kitabı yaklaşımını kullanarak, bir görüntü kod kitabını işleyebilen büyük bir dil modeli olan bir sinir ağı olan ve "bukalemun" olarak telaffuz edilen CM3Leon adı verilen şeyi bir araya getirdi.

CM3Leon, "Nedensel Olarak Maskelenmiş Çok Modlu Modelleme" için geçen yıl FAIR tarafından tanıtılan önceki bir program olan CM3'ü temel almaktadır. Bir dizideki bir sonraki öğeyi tahmin etmek için eğitilmiş "Transformer" tarzı bir program olması açısından ChatGPT'ye benzer - "yalnızca kod çözücü transformatör mimarisi" - ancak bunu, yazılanların benzer kısımlarını "maskeleme" ile birleştirir. Google'ın BERT programına aktarın, böylece bir cümlenin ilerleyen kısımlarında olabilecek bağlamlardan da yararlanabilirsiniz.

CM3Leon, CM3'e erişim adı verilen şeyi ekleyerek onu geliştirir. Büyük dil modellerinde giderek daha önemli hale gelen erişim, programın, eğer isterseniz, bir belge veritabanına ulaşmak ve programın çıktısı olarak alakalı olabilecek şeyleri almak için "eve telefon edebileceği" anlamına gelir. Bu, sinir ağının ağırlıklarının veya parametrelerinin tahmin yapmak için gerekli tüm bilgileri taşıma yükünü taşımaması için belleğe erişmenin bir yoludur.

Yu ve ekibine göre veritabanları, hem görüntü hem de metin belgeleri için arama yapılabilen bir vektör "veri bankası": "Çok modlu belgeyi bir metin parçasına ve bir görüntü parçasına ayırdık, bunları ayrı ayrı kodladık. -CLIP metin ve görüntü kodlayıcılarını rafta dondurun ve ardından belgenin vektör temsili olarak ikisinin ortalamasını alın."

Yeni bir yaklaşımla, araştırmacılar eğitim veri seti olarak internet görsellerini değil, hazır fotoğraf şirketi Shutterstock'tan alınan 7 milyon lisanslı görselden oluşan bir koleksiyonu kullanıyor. "Sonuç olarak, performanstan ödün vermeden görsel sahipliği ve ilişkilendirmeyle ilgili endişeleri önleyebiliyoruz."

Veritabanından alınan Shutterstock görselleri, programın yeteneklerini geliştirmek için CM3Leon'un eğitim öncesi aşamasında kullanılır. ChatGPT ve diğer büyük dil modellerinin önceden eğitilme şekliyle aynıdır. Ancak daha sonra, önceden eğitilmiş CM3Leon'un giriş ve çıkışlarının her ikisinin de modeli daha da iyileştirmek için modele geri beslendiği ekstra bir aşama gerçekleşir; bu yaklaşıma "denetimli ince ayar" veya SFT adı verilir.

Tüm bunların sonucunda, çeşitli metin-görüntü görevleri için en ileri teknolojiye ulaşan bir program ortaya çıkar. Birincil testleri, Carnegie Mellon Üniversitesi'nden Xinlie Chen ve meslektaşları tarafından 2015 yılında yayınlanan bir veri kümesi olan Microsoft COCO Altyazıları'dır. Bir program, Avusturya'daki Linz Johannes Kepler Üniversitesi'nden Martin Heusel ve meslektaşları tarafından 2018'de tanıtılan bir benzerlik ölçüsü olan FID puanına göre veri kümesindeki görüntüleri ne kadar iyi kopyaladığına göre değerlendirilir.

Yu ve ekibi şunları yazın: "CM3Leon-7B modeli, eğitim verilerinin yalnızca bir kısmını kullanarak ve PARTI gibi diğer modellerin hesaplamalarını kullanarak, son teknoloji ürünü 4,88'lik yeni bir FID puanı belirliyor." "7B" kısmı, programın ölçeğinin ortak ölçüsü olan 7 milyar sinir parametresine sahip CM3Leon programını ifade eder.

Bir tablo, CM3Leon modelinin çok daha az eğitim verisi ve diğer modellere göre daha az parametreyle nasıl daha iyi bir FID puanı (daha düşükse daha iyidir) elde ettiğini gösterir; bu, daha az işlem yoğunluğu anlamına gelir:

Bir grafik CM3Leon'un Nvidia A100 GPU'larda daha az eğitim saati kullanarak bu üstün FID puanına nasıl ulaştığını gösteriyor:

Büyük resim nedir? CM3Leon, tek bir komut istemi kullanarak yalnızca görüntüler oluşturmakla kalmaz, aynı zamanda belirli bir görüntüdeki nesneleri tanımlayabilir veya belirli bir görüntüden altyazılar oluşturabilir veya metin ve görüntü arasında hokkabazlık yaparak çok sayıda başka şey yapabilir. Bir bilgi istemine bir şeyler yazma şeklindeki son derece popüler uygulamanın yeni bir paradigma haline geldiği açıktır. Aynı yazma hareketi, pek çok "modalite", yani farklı türdeki veriler (görüntü, ses, ses vb.) içeren birçok görev için genel olarak kullanılabilir.

Yazarların vardığı sonuca göre, "Sonuçlarımız, geniş bir yelpazedeki metin ve resim görevleri için otoregresif modellerin değerini destekliyor ve bu yaklaşımın daha fazla araştırılmasını teşvik ediyor."