OpenAI'nin Sora video oluşturucusu ile hemen şimdi başlayabileceğiniz 3 kazançlı yan koşuşturma

Yazılım, konuşmacıların dudaklarının ve ses dalga biçimlerinin videolarının birbirini önceki yaklaşımlardan çok daha verimli ve doğru bir şekilde güçlendirmesini sağlamak için popüler "dikkat" yaklaşımını kullanır.

"Kapsülde seni duymama karşı çok kapsamlı önlemler almış olsan da, dudaklarının kıpırdadığını görebiliyordum."

İnsanların konuşmaları sadece kulaklarıyla dinleyerek değil, aynı zamanda konuşmacıların gözlemledikleri ağız hareketlerinden ipuçları alarak da duydukları yaygın olarak bilinen bir gerçektir. 

Benzer şekilde, görsel gözlemi sesle birleştirmek, bir bilgisayarın insan konuşmasını daha iyi ayrıştırmasına yardımcı olabilir. Bir anlamda, bilgisayar programları dudak okuyabilir, ancak mühendisliği zahmetli bir iştir. 

Facebook, Instagram ve WhatsApp'ın ana şirketi Meta'nın son yapay zeka çalışması, bilgisayarların dudakları tıpkı Dr. David Bowman ve Dr. Frank Poole'un "2001" filminde kapsülün içindeki ses sensörlerinden kaçmaya çalıştıklarında HAL 9000'in yaptığı gibi okuyabildiği, daha verimli bir yol öneriyor.

Geçen Cuma, Meta'nın yapay zeka bilim adamları, kaydedilmiş videolarda konuşmacıların dudak hareketlerinin kelimelerini ayrıştırmak için yazılım mühendisliği yapmak için gereken çabayı önemli ölçüde azaltabildikleri bir araştırma raporu yayınladılar. Çalışma ayrıca, gürültülü ortamlarda konuşma tanımayı anlamlı bir şekilde geliştirmek için dudak okuma teknolojisini kullanabildi.  

Yazarlar, programın "en iyi görsel-işitsel konuşma tanıma sistemlerinden (kişinin ne dediğini anlamak için konuşmacının hem sesini hem de görüntülerini kullanan) %75 daha doğru" olduğunu belirtiyor.

Tabii ki, burada bir Metaverse açısı var: Program sadece anlık çeviri için kullanılmakla kalmıyor, aynı zamanda bir gün "gerçek bir mevcudiyet duygusu sunmak için sanal gerçeklik avatarlarında gerçekçi dudak hareketleri oluşturmaya yardımcı olabilir - dünyanın diğer tarafında olsalar bile biriyle orada olma hissi."

Çalışma, iki çizgi boyunca bir ilerlemeyi temsil ediyor. Birincisi, metin transkriptleri gibi belirli ipuçlarından kaçınan ve bunun yerine programın verilerde kendiliğinden ilahi bir yapıya sahip olduğu kendi kendini denetleyen öğrenmedir. Diğer gelişme alanı, farklı türdeki verileri birbirlerini güçlendirecek şekilde birleştiren çok modlu sinir ağlarıdır. 

AV-HuBERT olarak adlandırılan, görsel-işitsel anlamına gelen "AV", "gizli birim" anlamına gelen "Hu" adlı sonuç, dudak hareketlerinden kelimeleri algılamak için işitsel ve görsel sinyalleri birleştirir. 

Facebook'tan baş yazar Bowen Shi ve meslektaşları Wei-Ning Hsu, Kushal Lakhotia ve Abdelrahman Mohamed, geçen Cuma günü arXiv ön baskı sunucusunda "Maskeli Multimodal Küme Tahmini ile Görsel-İşitsel Konuşma Temsilini Öğrenme " başlıklı makalelerini yayınladılar. Yazarlar ayrıca sindirimi daha kolay bulabileceğiniz bir blog yazısı da yazdılar .

Shi & Co.'nun açıkladığı gibi, önceki çalışmalar da çok modluydu, görsel verileri, video karelerini ses verileriyle, dalga formu parçacıklarını birleştirerek bir sinir ağını nasıl eşleştiklerini tahmin etmek için eğitiyordu. 

Ancak bu tür programlar, konuşmacıların videolarının daha sonra etiket görevi gören metin cümlelerine dönüştürülmesi gibi bir tür ek, hazırlanmış ipuçlarına güvenme eğilimindeydi. Yeni çalışma, kendi kendini denetleyen bir rotada ilerliyor ve kalıpları dış yapı olmadan kendiliğinden bir araya getiriyor.

Yazarlar blog yazılarında, "Etiketlenmemiş verilerden konuşma ve dudak hareketlerini ortaklaşa modelleyen ilk sistemdir - henüz yazıya dökülmemiş ham video" diye yazıyor.

Önceki birçok model, kelime düzeyinde açıklamalı dudak okuma videoları" eğitmek için, "kelime sınırı bilgisi gerektirdiğinden toplanması maliyetlidir. Bu modellerin aksine, modellerimiz önerilen yaklaşım kullanılarak sıfırdan tamamen önceden eğitilmiştir.

İcat ettikleri AV-HuBERT programı, geçen yıl Hsu ve meslektaşları tarafından tanıtılan HuBERT adlı yalnızca sesli bir program üzerine inşa ediliyor. Adından da anlaşılacağı gibi HuBERT, 2018 yılında Google'da geliştirilen çift yönlü Transformer sinir ağı yaklaşımını kullanıyor. 

Bir ses kaydının parçalarını "maskeleyerek", yani bir ses dalga formunun bölümlerini dışarıda bırakarak, HuBERT sinir ağı, eğitim aşamasında hangi ses parçalarının birbiriyle uyumlu olduğunu yeniden yapılandırmak zorunda kaldı. 

Şimdi, AV-HuBERT'te Shi ve ekibi, ses parçalarını konuşan insanların videolarından alınan karelerle "birleştiriyor". Sinir ağının eğitim aşaması temel olarak iki aşamada ilerler. İlk olarak, yalnızca orijinal ses HuBERT gibi, sesi maskelemek için dikkat yaklaşımını kullanırlar ve ardından bu ses dalga biçimlerini, nitelikleri açısından bir şekilde birbirine yakın olan örnek grupları olan kümeler halinde gruplandırırlar.

Bu gruplamalar daha sonra sinir ağının ikinci aşaması için bir hedef haline gelir. AV-HuBERT'in multimodal kısmı, hem konuşmacıların dudaklarının görüntülerini hem de ses dalga biçimini aynı anda maskeler ve ardından bunları ilk dalgada oluşturulan kümelerle eşleştirmeye çalışır. Bu şekilde, program hangi dudak konfigürasyonlarının hangi ses dalga formlarına karşılık geldiğini hesaplar, böylece ağız hareketi ve ses çıkışının korelasyonunu "öğrenir". 

Bu, etkili bir şekilde, açık ipuçları olmadan yapıyı ilahi olarak tanımlayan kendi kendini denetleyen bir yaklaşımdır.

AV-HuBERT programının yapısı, görsel ve işitsel verilerin en altta girilmesiyle başlar ve en üstte son "kümeler" halinde çıkarılır.

Füzyon, görüntü çerçevelerine yerleştirilen dikkatin ve ses dalga biçimlerine yerleştirilen dikkatin, her ikisinin de tek başına yapacağından daha üstün kümeler oluşturmak için birbirini güçlendirdiği anlamına gelir. Bu kümeler, dudak okuma ve konuşma tanıma gibi sonraki görevlerin "hedefi" haline gelir. 

Yazarların açıkladığı gibi, 

AV-HuBERT, hem dudak hareketinden hem de ses akışlarından maskelenmemiş bölgeler için dilsel ve fonetik bilgileri aynı anda yakalar ve gizli temsillerine kaydeder, ardından maskelenmiş tahmin görevini çözmek için uzun vadeli zamansal ilişkilerini kodlar.

AV-HuBERT bu şekilde kendi kendini eğittikten sonra, yazarlar, makineye videonun neresinde olduğunu söyleyen resmi transkriptlerle birlikte gerçek etiketli videoyu, saatlerce tanıtarak ince bir ayar yaparlar.

AV-HuBERT programını test etmek ve eğitmek için kullanılan ana veri seti, 2018 yılında Triantafyllos Afouras ve Oxford'daki meslektaşları tarafından geliştirilen ve "bugüne kadar halka açık en büyük cümle düzeyinde dudak okuma veri seti" olan LRS3'tür. TED ve TEDx konuşmalarından çıkarılan 400 saatten fazla videodan oluşuyor ve YouTube'dan İngilizce olarak yayınlanıyor."

AV-HuBERT'in kendi kendini denetleyen eğitiminin bir sonucu olarak, konuşmacıların videolarındaki kelimeleri önceki tüm girişimlerden daha iyi tahmin edebilir, Shi ve şirket yazabilir.

"Önerilen" Meta sistemi, AV-HuBERT, alt ve önceki sınıfının en iyisi programlar için dudak okuma test sonuçları.

Ancak, ham puandan daha önemli olan, programı eğitmek için gereken veri miktarındaki büyük azalmadır. 

"AV-HuBERT, önceki en iyi yaklaşımda kullanılan 31.000 saatlik etiketli veriden iki kat daha az olan 433 saatlik metin transkripsiyonu kullanarak son teknoloji ürünü bir performans sergiliyor" diye yazıyorlar. 

Çok daha az veri gerektiğinden, düşük kaynaklı diller olarak adlandırılan diğerlerinden çok daha az veriye sahip dillerde dudak okuma görevleri yapmak mümkündür. (Örneğin İngilizce, Fransızca ve Almanca dışındaki dilleri düşünün.)

Yazarlar, "Gelecekteki çalışmalar olarak, AV-HuBERT'in düşük kaynaklı dillerde çok dilli dudak okuma için uygulanabileceğini" ve aynı "yaklaşımın, konuşma geliştirme ve oluşturma gibi diğer görsel konuşma temsili uygulamalarına genişletilebileceğini" gözlemliyorlar.

Shi ve meslektaşları, geçen hafta yayınlanan ve otomatik konuşma tanıma için AV-HuBERT'in kullanımını açıklayan ikinci bir makale ile bulgularına eklediler. Burada odak noktası, gürültü bağlamında konuşmanın nasıl daha iyi ayrıştırılacağıdır. 

"Toplantı senaryolarında kullanılan konuşma tanıma, gevezelik gürültüsüne maruz kalırken, ev ortamında kullanılan bir ses doğal olarak müzik, yemek pişirme veya elektrikli süpürge makine sesleriyle karşılaşır." Onların araştırması, bu tür ortam gürültüsünün AV-HuBERT tarafından üstesinden gelinip gelinemeyeceğidir.

Eğitim sırasında Shi ve ekibi, AV-HuBERT'in video çerçevesi ve ses dalga formu örnekleriyle gürültü kliplerini karıştırıyor. Sonuç, programın gevezeliğin etrafından dolaşmada iyi hale geldiğini yazıyorlar. Öyle ki AV-HuBERT, önceki konuşma tanıma sistemlerine kıyasla kelime hata oranında veya yanlış kelimelerin oranı olan WER'de %50'lik bir azalma elde ediyor. 

"Gelecekteki çalışmalarımız, gerçek dünyadaki düşük kaynaklı ve çok dilli ortamlarda görsel-işitsel konuşma tanımanın uygulanmasını içeriyor" diye yazıyorlar.

Peki, HAL 9000'in dudak okuması gibi bir şey ne kadar gerçek? Yapay zekanın artık dudak okumada insanlardan daha iyi olduğu fikri, son yıllarda önceki yapay zeka çalışmalarıyla yazılmıştır. AV-HuBERT'in en iyi performansındaki kelime hata oranı, gerçekten de %26,9 ile insan, profesyonel dudak okuyuculardan çok daha iyi. Görünüşe göre, çoğu insan dudak okuyucunun elde ettiği en iyi oran sadece % 40'tır (onda dört kez yanılıyorlar.) Açıkçası, olaydan sonra konuşmaları yazıya dökmek gibi şeyler için bu, yazılım programları için büyük bir destek olabilir.

Ancak pratikte, büyük bir uyarı var. Bu gerçekten dudak okumayı simüle ediyor. AV-HuBERT sonuçları, filmdeki Bowman ve Poole'unki gibi canlı, serbest biçimli, vahşi bir konuşma değil, hazır video üzerinde bir testten geçer. 

Şu an için, kapsülün içinde hala güvende olabilirsiniz.