Meta, Movie Gen'in AI video üretiminde 'gerçek' ilerlemeye işaret ettiğini söylüyor

Rakip yapay zeka teknolojilerine karşı yüksek puanlara rağmen videonun gerçekten iyi olup olmadığını incelemek için hala insanlara ihtiyacınız var.

Artan yapay zeka (AI) tarafından üretilen video akışı ne kadar sahte veya ne kadar gerçek?

Görünüşe göre bunun niceliksel bir ölçüsü var - ya da neredeyse. İnsanların yine de bir videonun iyi olup olmadığına kendi algılarına dayanarak karar vermesi gerekiyor.

Meta Platforms'un sahibi Mark Zuckerberg, Cuma günü, bir metin isteminden HD videolar (1080p çözünürlük) oluşturabilen Movie Gen adlı yeni bir AI modelini duyurdu. Firma, bu videoların, rakip teknolojiler (OpenAI'nin Sora metinden videoya modeli gibi) tarafından oluşturulan videolardan ortalama olarak daha "gerçekçi" olduğunu söylüyor.

Ayrıca senkronize ses üretebilir, videoyu bir kişinin yüzünü gösterecek şekilde uyarlayabilir ve ardından ekrandaki penguenleri gizlemek için "penguenlere Viktorya dönemi kıyafetleri giydirin" gibi yalnızca bir metin istemiyle videoyu otomatik olarak düzenleyebilir.

Meta AI araştırmacıları, eşlik eden "Movie Gen: Medya Vakfı Modellerinin Bir Oyuncusu" başlıklı makalede, insanların AI tarafından oluşturulan videoların gerçekçiliğini nasıl derecelendirdiklerini anlatıyor:

Realness: This measures which of the videos being compared most closely resembles a real video. For fantastical prompts that are out of the training set distribution (e.g., depicting fantasy creatures or surreal scenes), we define realness as mimicking a clip from a movie following a realistic art-style. We additionally ask the evaluators to select a reason behind their choice i.e., "subject appearance being more realistic" or "motion being more realistic".

Ayrıca tamamlayıcı bir blog yazısı da bulunmaktadır.

İnsan testleri, Movie Gen ile Sora ve diğer üç önemli metinden videoya yapay zeka modeli olan Runway Gen3, Lumalabs ve Kling1.5'e karşı bir kazanç/mağlubiyet puanı belirliyor.

Yazarlar, otomatik bir şekilde iyi karşılaştırmalar elde etmenin henüz mümkün olmadığını belirtiyor. Dahası, "gerçeklik ve estetiğin değerlendirilmesi büyük ölçüde insan algısına ve tercihine bağlıdır" diye yazıyorlar.

Sadece gerçekçilik açısından değil, aynı zamanda bir videodaki hareketin ne kadar iyi olduğu, bir eylemin bazı kısımlarını atlayıp atlamadığı veya beceriksizce atlayıp atmadığı ve videonun girilen metin istemine ne kadar sadık olduğu konusunda da otomatikleştiremeyeceğiniz şeylerdir. belirtiyorlar.

"Mevcut otomatik ölçümlerin güvenilir sonuçlar sağlamakta zorlandığını ve bu durumun insan değerlendirmesi ihtiyacını güçlendirdiğini görüyoruz."

Makalede, karşılaştırma ölçütünün "insanların modelimizin sonuçlarını rakip endüstri modellerine karşı tercih etme" yollarını ölçtüğü ve bunun yüzde cinsinden "net kazanma oranı" ile sonuçlandığı belirtiliyor.

Sora'ya karşı ortalama kazanma oranının %11,62 olduğunu söylüyorlar. Diğerlerine karşı kazanma oranı önemli ölçüde daha yüksektir.

"Bu kayda değer net kazançlar, Movie Gen Video'nun, hem büyüklükte hem de tutarlı ve bozulma olmadan, fiziğe saygılı oluşturulmuş videolarla gerçek dünyayı simüle etme yeteneğini gösteriyor."

Doğrudan Sora'nın aksine videoların bazı örnek ekran görüntülerini sunuyorlar. Yazarların görüşüne göre, "OpenAI Sora, metin isteminde açıklanan hareket ayrıntılarının (örneğin, alttaki yürümeyen robot) eksik olabileceği daha az gerçekçi videolar (örneğin, ikinci satırdaki karikatürize kanguru) oluşturma eğiliminde olabilir. sıra)."

Yazarlar, Movie Gen için yapay zeka modelini "temel modeller kadrosu" olarak adlandırdıkları modelden oluşturdular.

Yazarlar, eğitim aşamasında, halka açık ve lisanslı veri kümelerinin bir karışımından alınan görüntüler ve videoların, modelin veri piksellerini verimli bir şekilde yeniden üretmeyi öğrenene kadar sıkıştırıldığını belirtiyor. Kendi deyimleriyle, "RGB piksel alanı videolarını ve görüntülerini, bir Zamansal Otomatik Kodlayıcı (TAE) kullanarak öğrenilmiş uzay-zamansal sıkıştırılmış gizli alana kodluyoruz ve bu gizli alanda videolar üretmeyi öğreniyoruz."

Meta, yalnızca video oluşturmak için değil aynı zamanda ses, kişiselleştirme ve video düzenleme yeteneğini de senkronize etmek için birden fazla adım kullandı.

Bu video üretimi daha sonra modelin metin istemleriyle uyumlu video üretebilmesini sağlamak için metin girişlerine göre "koşullandırılır".

Parçaların toplamı 30 milyar parametreli bir model oluşturuyor; günümüzün eğitim standartlarına göre çok büyük değil.

"Movie Gen Audio" adı verilen ikinci bir sinir ağı, yüksek kaliteli ses üretiyor; ancak konuşma için değil, ses efektleri ve müzik için. Bu, 13 milyar parametreli "difüzyon transformatörü" adı verilen mevcut bir yaklaşım üzerine inşa edilmiştir.

Tüm bunlar çok fazla bilgi işlem gücü gerektiriyor: "Meta'nın Grand Teton AI sunucu platformunu kullanan, her biri 700 W TDP'de ve 80 GB HBM3 ile çalışan 6.144 H100 GPU."

Movie Gen'in yaptığı tek şey video oluşturmak değildir. Bir sonraki adımda yazarlar, bir kişinin yüzünün filmde görünmeye zorlanabileceği "kişiselleştirilmiş" videolar oluşturmak için modeli ek eğitime tabi tutuyorlar.

Ayrıca, videoları yalnızca bir metin istemiyle düzenleme yeteneği olan son bir bileşen de ekliyorlar. Yazarların karşılaştığı sorun, "video düzenleme modellerinin denetimli video düzenleme verilerinin azlığı nedeniyle engellenmesi", dolayısıyla yapay zeka modelini eğitmek için yeterli örnek olmamasıdır.

Ekip, bu sorunu aşmak için Movie Gen AI modeline geri döndü ve onu birkaç adımda değiştirdi. İlk olarak, video karelerinin düzenlenmesinde neyin yer aldığını simüle etmek için görüntü düzenlemeden elde edilen verileri kullanıyorlar. Bunu, orijinal metinden videoya eğitimle aynı anda modelin eğitimine koydular, böylece yapay zeka modeli, bireysel kare düzenlemeyi birden fazla video karesiyle koordine etme kapasitesini geliştirdi.

Bir sonraki bölümde yazarlar modele bir video, "sokakta yürüyen bir kişi" gibi bir metin başlığı ve düzenlenmiş bir video besler ve modeli, orijinal videodan değişikliğe yol açacak talimatı üretmesi için eğitir. Düzenlenen videoya. Başka bir deyişle, yapay zeka modelini talimatları değiştirilen videolarla ilişkilendirmeye zorluyorlar.

Yazarlar, video düzenleme yeteneğini test etmek için Meta'nın araştırmacıları tarafından toplanan 51.000 videoyu temel alan yeni bir kıyaslama testi derlediler. Ayrıca düzenleme talimatlarını hazırlamak için kalabalık çalışanları da işe aldılar.

Videoların düzenlenmesini değerlendirmek için Meta ekibi, insan incelemecilerden hangi videonun daha iyi olduğunu değerlendirmelerini istedi: kendi yapay zeka modeliyle oluşturulmuş bir video mu yoksa mevcut en son teknolojiyle oluşturulmuş bir video mu? Ayrıca görevdeki önceki ve sonraki videoları karşılaştırmak için otomatik ölçümler kullandılar.

Yazarlar, "İnsan değerlendiriciler tüm temel noktalarda önemli bir farkla Movie Gen Edit'i tercih ediyor" diye yazıyor.

Tüm bu adımlarda yazarlar, yapay zeka modellerinin boyutunu, verileri ve kullanılan bilgi işlem miktarını koordine etme konusunda çığır açıyor. "Flow Matching ile eğitilmiş basit bir Transformer tabanlı modelin eğitim verilerini, hesaplamayı ve model parametrelerini ölçeklendirmenin, video veya ses için yüksek kaliteli üretken modeller sağladığını gördük."

Ancak yazarlar, insan değerlendirmelerinin bazı tuzakları olduğunu kabul ediyorlar. "İnsan değerlendirmelerini kullanarak model nesillerini değerlendiren nesnel kriterlerin tanımlanması zorlu olmaya devam ediyor ve bu nedenle insan değerlendirmeleri, kişisel önyargılar, geçmişler vb. gibi bir dizi başka faktörden etkilenebilir."

Makalede bu insan önyargılarıyla nasıl başa çıkılacağına dair herhangi bir öneri bulunmuyor. Ancak Meta, başkaları tarafından kullanılmak üzere bir zaman dilimi açıklamadan bir kıyaslama testi yayınlayacaklarını belirtiyor:

In order to thoroughly evaluate video generations, we propose and hope to release a benchmark, Movie Gen Video Bench, which consists of 1000 prompts that cover all the different testing aspects summarized above. Our benchmark is more than 3⇥ larger than the prompt sets used in prior work.

Şirket ayrıca bir noktada videolarını kamuoyunun incelemesine sunacağının da sözünü verdi: "Gelecekteki çalışmalarımızda Movie Gen Video ile adil ve kolay bir karşılaştırma sağlamak amacıyla, Movie Gen Video Bench istem seti için özel olarak seçilmemiş videolarımızı kamuya açık olarak yayınlamayı umuyoruz. ."

Meta'ya göre Movie Gen modeli henüz devreye alınmadı. Makalelerinin sonuç kısmında yazarlar, yapay zeka modellerinin hepsinin "dağıtılmadan önce birden fazla iyileştirmeye ihtiyaç duyduğunu" yazıyorlar. Örneğin, model tarafından oluşturulan videolarda "karmaşık geometri etrafında oluşturulan veya düzenlenen videolardaki yapaylıklar, nesnelerin manipülasyonu, nesne fiziği, durum dönüşümleri vb. gibi sorunlar hâlâ devam ediyor." Step dansı videosu gibi "hareketler yoğun olduğunda bazen ses senkronizasyonu bozulur".

Bu sınırlamalara rağmen Movie Gen, bir gün tam bir video oluşturma ve düzenleme paketine ve hatta bir video podcast'ini kişinin kendi benzerliğine göre uyarlamaya giden yolu ima ediyor.