Google'ın AI video oluşturucu teknolojisi oldukça şaşırtıcı. Kendiniz görün
Google'ın AI video oluşturma modeli Lumiere ile hızlı bir metin istemi, kusursuz ve gerçekçi videolar oluşturabilir.
2022'nin sonunda DALL-E 2'nin piyasaya sürülmesinden bu yana, metinden görüntüye oluşturucular, pazara giren pek çok değerli rakibin gözdesi haline geldi. Şimdi, bir yıldan fazla bir süre sonra, yeni bir teknolojinin şafağındayız: AI video üretimi.
Salı günü Google Araştırma, metin istemlerinden ve diğer görsellerden son derece gerçekçi videolar oluşturabilen bir metinden videoya yayılma modeli olan Lumiere hakkında bir araştırma makalesi yayınladı.
Makaleye göre model, "gerçekçi, çeşitli ve tutarlı hareket" yaratan video oluşturma sentezindeki önemli bir zorluğun üstesinden gelmek için tasarlandı. Video oluşturma modellerinin genellikle dalgalı videolar oluşturduğunu fark etmiş olabilirsiniz, ancak aşağıdaki videoda görüldüğü gibi Google'ın yaklaşımı daha kusursuz bir görüntüleme deneyimi sunuyor.
Video klipler yalnızca izlemesi kolay olmakla kalmıyor, aynı zamanda hiper gerçekçi görünüyorlar; bu da diğer modellere göre önemli bir gelişme. Lumiere bunu, bir videonun zamansal süresini tek bir geçişle tek seferde üreten Uzay-Zaman U-Net mimarisi aracılığıyla başarabiliyor.
Bu video oluşturma yöntemi, uzak anahtar kareleri sentezleyen diğer mevcut modellerden farklıdır. Makaleye göre bu yaklaşım, doğası gereği video tutarlılığının sağlanmasını zorlaştırıyor.
Lumiere, normal bir görüntü oluşturucu gibi çalışan ve bir metin isteminden video oluşturan metinden videoya ve bir görüntüyü alıp ona eşlik eden istemi kullanarak görüntü üreten görüntüden videoya dahil olmak üzere farklı girişlerden video oluşturabilir. bir videoda fotoğrafa hayat vermek.
Model aynı zamanda bir kullanıcı istemi kullanarak hedef tarzda video oluşturmak için tek bir referans görüntüsü kullanan stilize oluşturma yoluyla video oluşturmaya eğlenceli bir dönüş de yapabilir.
Model, video üretmenin yanı sıra, videoyu belirli bir istemi yansıtacak şekilde değiştiren çeşitli görsel stilizasyonlar, fotoğrafın belirli bir alanını canlandıran sinemagraflar ve fotoğraftaki eksik veya hasarlı alanları dolduran iç boyama yoluyla mevcut videoyu düzenlemek için kullanılabilir. video.
Makalede Google, Lumiere'in performansını ImagenVideo, Pika, ZeroScope ve Gen2 gibi diğer önde gelen metinden videoya yayılma modellerine göre ölçtü ve bir grup testçiden görsel kalite ve hareket açısından daha iyi buldukları videoyu seçmelerini istedi. Her videoyu hangi modelin oluşturduğunu bilmeden.
Google'ın modeli, metinden videoya kalite, metinden videoya metin hizalaması ve resimden videoya kalite dahil olmak üzere tüm kategorilerde diğerlerinden daha iyi performans gösterdi.
Model henüz genel kullanıma sunulmadı; ancak daha fazlasını öğrenmek veya modelleri çalışırken izlemek istiyorsanız Lumiere web sitesini ziyaret edebilirsiniz; burada modelin farklı görevleri yerine getirdiği birçok demoyu görebilirsiniz.