Yapay zeka tarafından oluşturulan kodunuz hatalı hale gelirse, en çok kim sorumluluğa maruz kalır?

Kalaallisut ve Fula gibi düşük kaynaklı diller için, çeviride neyin kaybolduğunu bulmak için büyük bir çaba.

İngilizce'den tekrar İngilizce'ye çeviri yaparken diller için puanlar, dilin kaç tane örnek cümleye sahip olduğuyla ilişkilendirildi. Sağ tarafa doğru, daha fazla sayıda örnek cümle daha iyi puanlarla sonuçlanır. Kiril alfabesindeki İngilizce gibi, çok az örneği olan ancak iyi tercüme edilen aykırı değerler var. 

Çeviri amacıyla bin dil için yazı örnekleri topladıktan ve insanlar hala ortaya çıkan çevirileri başarısız olarak değerlendirdikten sonra ne yaparsınız?

Açıkçası arızaları inceleyin. 

Ve bu, Google makine öğrenimi bilim adamlarının bu ay Arxiv'de yayınlanan "Gelecek Bin Dil için Makine Çevirisi Sistemleri Oluşturma" adlı çok dilli çeviri üzerine büyük bir araştırma makalesinde bahsettiği ilginç çalışmadır.

"Düşük kaynaklı makine çevirisindeki muazzam ilerlemeye rağmen, yaygın olarak kullanılabilen, genel alan MT sistemlerinin oluşturulduğu dillerin sayısı, bugün dünyada konuşulan 7000+ dilin küçük bir kısmı olan yaklaşık 100 ile sınırlandırılmıştır" diye yazıyor baş yazar Ankur Bapna ve meslektaşları. 

Makale, makine öğrenimini eğitmek için örnek olarak kullanılacak çok az belgeye sahip olan, düşük kaynaklı diller de dahil olmak üzere binden fazla dilden oluşan bir veri seti oluşturma projesini anlatıyor. 

Örneğin, İngilizce için milyarlarca örnek cümle ve İzlandaca için yüz milyondan fazla örnek cümle toplamak kolay olsa da, Grönland'da yaklaşık 56.000 kişi tarafından konuşulan kalaallisut dili, çevrimiçi metinlerde hazır bulunan bir milyondan az örnek cümleye sahiptir; Malezya ve Tayland'da yaklaşık beş milyon kişi tarafından konuşulan Kelantan-Patanii Malay dili, 10.000'den az örnek cümleye sahiptir.

Bu tür düşük kaynaklı diller için makine çevirisi için bir veri seti derlemek için, Bapna ve iki düzine meslektaşı önce İnternet'i taramak ve düşük kaynaklı dillerdeki metinleri tanımlamak için bir araç oluşturdu. Yazarlar, bir Web metninin belirli bir dile ait olup olmadığını belirlemeye yönelik teknikleri içeren LangID adlı bir sistemi genişletmek için bir dizi makine öğrenimi tekniği kullanır. Bu, yanlış pozitifleri ortadan kaldırmak için oldukça karmaşık bir süreçtir. 

Web'i LangID teknikleriyle taradıktan sonra, yazarlar "boyutları bir cümleden (Mape) 83 milyon cümleye (Sabah Malayca) kadar değişen 1503 düşük kaynaklı dil için derlemli bir veri seti" oluşturabildiler. 

Bilim adamları, bu listeyi "25.000'den fazla tek dilli cümleyi (tekilleştirmeden önce) kurtardığımız" 1.057 dile indirdiler ve bu örnek grubunu, İngilizce gibi 83 "yüksek kaynaklı dil" için çok daha büyük verilerle birleştirdiler. 

Daha sonra, bu kümedeki diller arasında çeviri yapmak için deneyler yaparak veri kümelerini test ettiler. Dil modelleme için her yerde bulunan Transformer sinir ağının çeşitli versiyonlarını kullandılar. Çevirilerin performansını test etmek için yazarlar, kalaallisut da dahil olmak üzere örnek gerçek çeviriler elde ettikleri 38 dille İngilizce'ye ve İngilizce'den çeviri yapmaya odaklandılar

İşte en ilginç kısım burada devreye giriyor. Yazarlar, düşük kaynaklı dillerin anadili olan insan eleştirmenlerden, 28 dil için çevirilerin kalitesini sıfırdan altıya kadar bir ölçekte, sıfırı "saçma veya yanlış dil" ve altısı "mükemmel" olmak üzere derecelendirmelerini istedi. 

Sonuçlar harika değil. İngilizce'den çevrilen 28 dilden 13'ü çeviri kalitesi açısından ölçekte 4'ün altında derecelendirildi. Bu, hedeflenen çevirilerin neredeyse yarısının vasat olduğu anlamına gelir. 

Yazarlar, 23. sayfadan başlayarak, zayıf derecelendirmelere sahip çevirilerde neyin yanlış gitmiş gibi göründüğüne dair büyüleyici bir tartışma yapıyorlar. 

"En büyük çıkarım, otomatik ölçümlerin ilgili lehçelerdeki performansı abartmasıdır" diye yazıyorlar, yani, makinenin çevirilere atadığı puanlar, örneğin yaygın olarak kullanılan BLEU puanları, sinir ağının basitçe başka bir dile benzeyen yanlış bir dile çeviri yaptığı durumlarda kredi verme eğilimindedir. Örneğin, İngilizce'nin bir lehçesi olan Nijeryalı Pidgin (pcm), sırasıyla 35 ve 60 civarında çok yüksek BLEU ve CHRF puanlarına sahipti. Bununla birlikte, insanlar çevirileri çok sert bir şekilde değerlendirdi ve tam %20'si 'Saçma/Yanlış Dil' olarak değerlendirildi ve güvenilir anadili İngilizce olan kişiler çevirilerin kullanılamaz olduğunu doğruladı."

"Burada ne oluyor ki, model yanlış lehçeye (bozuk bir versiyonuna) dönüşüyor, ancak otomatik kıyaslamanın yüksek puan alması için karakter n-gram düzeyinde yeterince yakın" diye gözlemliyorlar. 

"Bu, bir veri kirliliği sorununun sonucudur," diyorlar, "çünkü bu diller web'deki diğer çok daha yaygın dillere çok yakın [...] eğitim verilerinin, daha yüksek kaynak dilinin bozuk sürümleriyle veya diğer çeşitlerle karıştırılması çok daha olasıdır."

Mavi renkte doğru terimler ve sarı renkte yanlış çeviriler içeren çeviri örnekleri. Sol sütun, standart BCP-47 etiketlerini kullanarak hangi dile çevrildiğini gösterir.

Ve sonra, yazarların çevirilerde "karakteristik hata modları" olarak adlandırdıkları şeyler var, örneğin "eğitim verilerinde dağılımsal olarak benzer bağlamlarda meydana gelen isimleri çevirmek" gibi, "'kaplan' gibi nispeten yaygın isimleri başka bir tür hayvan kelimesiyle değiştirmek, "modelin bu ismin ortaya çıktığı dağılım bağlamını öğrendiğini göstermek, ancak bu kategoride yeterli ayrıntıya sahip bir dilden diğerine tam eşlemeleri elde edemedi."

Böyle bir sorun "hayvan isimleri, renkleri ve günün saatleri" ile ortaya çıkar ve "aynı zamanda sıfatlarla ilgili bir sorundu, ancak fiillerle ilgili bu tür birkaç hata gözlemledik. Bazen kelimeler, kültürel olarak benzer kavramlar olarak kabul edilebilecek cümlelere çevrildi - örneğin, Sanskritçe'den çeviri yaparken 'peynir ve tereyağı'nı 'lor ve yoğurt'a çevirmek.

Yazarlar, anadili İngilizce olan kişilerle yakın çalışmak için kapsamlı bir durum ortaya koymaktadır:

Mümkün olduğunda, anadili İngilizce olan kişilerle ve bu toplulukların üyeleriyle, onlarla uzaktan kalabalık işçiler olarak etkileşim kurmak yerine, ilişkiler kurmaya çalışmanın önemli olduğunu vurguluyoruz. Bu çalışma için yazarlar, mümkün olduğu kadar çok topluluğun üyelerine ulaştılar ve bu toplulukların 100'den fazla üyesiyle sohbet ettiler ve bunların çoğu bu projede aktif oldu. 

Bir ek, bu tür anadili İngilizce olanların uzun bir listesine şükran sunar. 

Belirtilen başarısızlıklara rağmen, yazarlar çalışmanın kayda değer başarılara sahip olduğu sonucuna varıyorlar. Özellikle, web'i taramak için LangID yaklaşımını kullanarak, "200'den fazla dil için 1 milyondan fazla cümle ve 400'den fazla dilde 100 binden fazla cümle içeren çok dilli etiketlenmemiş bir metin veri kümesi oluşturabiliyoruz."

Ve Transformer modelleriyle yapılan çalışma, onları "bu çalışmada açıklanan yaklaşımı kullanarak uzun kuyruklu diller için yüksek kaliteli, pratik MT modelleri oluşturmanın mümkün olduğuna" ikna ediyor.