Google, yerelleştirilmiş büyük dil modelleri oluşturmak için ortak çalışmalara katılıyor
Google Araştırma, Güneydoğu Asya dilleri için üretken yapay zeka modellerini eğitmek ve ince ayarlar yapmak üzere AI Singapur ile birlikte çalışacak.
Google, Güneydoğu Asya'nın nüfusuna ve kültürel karışımına daha iyi hitap edecek büyük dil modelleri (LLM'ler) oluşturmak için ortak çabalara katılıyor.
Araştırma kolu, bölgeye özgü dillerde yapay zeka modellerini eğitmek, ince ayarlar yapmak ve değerlendirmek için kullanılan veri kümelerini geliştirmek üzere Yapay Zeka Singapur ile birlikte çalışacak. AI Singapur Pazartesi günü yaptığı açıklamada, Tek Ağ Verilerinde Güneydoğu Asya Dilleri Projesi (SEALD) olarak adlandırılan girişimin, bölge için inşa edilen yüksek lisans eğitimlerinde "kültürel bağlam farkındalığını geliştirmeyi" amaçladığını söyledi.
Hükümet kurumu, işbirliğinin öncelikle Endonezya, Tayland, Tamil, Filipin ve Burma dillerine odaklanacağını ve iki ortağın yerelleştirme ve çeviri modellerini ortaklaşa geliştireceğini ekledi. Ayrıca, yerelleştirme yeteneklerinin ve veri kümelerinin ayarlanmasına yönelik en iyi uygulamaların ölçeklendirilmesine yardımcı olacak araçlar da geliştirecekler. Güneydoğu Asya dilleri için ön eğitim kılavuzları yayınlanacaktır.
AI Singapur, SEALD Projesi'nin tüm veri kümeleri ve çıktılarının açık kaynak olarak yayınlanacağını ekledi.
Girişim, Singapur devlet kurumunun geçen yıl başlattığı SEA-LION (Tek Ağda Güneydoğu Asya Dilleri) kapsamındaki modellere yönelik eğitim çabalarını daha da destekleyecek.
Bölgenin toplumsal nüansları için önceden eğitilmiş açık kaynaklı LLM'lerden oluşan SEA-LION'un mevcut yinelemesi iki temel model üzerinde çalışmaktadır: üç milyar parametreli bir model ve yedi milyar parametreli bir model. Eğitim verileri 981 milyar dil tokenından oluşuyor. AI Singapur, bu jetonları, jetonlaştırma sırasında metnin parçalanmasıyla oluşturulan kelime parçaları olarak tanımlıyor. Bu parçalar arasında 623 milyar İngiliz tokenı, 128 milyar Güneydoğu Asya tokenı ve 91 milyar Çin tokenı yer alıyor.
Project SEALD şu anda, çeşitli bölgesel dilleri İngilizceden daha akıcı bir şekilde konuşabilen Singapur'daki göçmen işçilerle iletişimi geliştirmek için bir kullanım örneği üzerinde çalışıyor. Veri toplama çabaları, bu topluluktaki benzersiz dil özelliklerini yansıtacak ve Singapur hükümeti ile işverenler arasındaki etkileşimi geliştirmek için temel oluşturacaktır.
SEALD Projesi'nden elde edilen veri kümeleri ve çıktılar, topluluğa erişimi desteklemek için Google Cloud ve Singapur hükümeti tarafından AI Trailblazers programı kapsamında geliştirilen üretken AI uygulamalarıyla entegre edilecek.
Proje SEALD ortakları ayrıca veri toplama ve kalite kontrolleri gibi işlevlerde akademi ve kamu sektörü de dahil olmak üzere sektörle birlikte çalışacak. Bu çabalar, bölgedeki üretken yapay zeka uygulamalarını değerlendirmek ve kıyaslamak için metodolojiler oluşturmak üzere farklı Güneydoğu Asya ülkelerindeki akademi ile işbirliğini içerecektir.
AI Singapur ayrıca, önceden doğrulanmış AI modellerine erişim sağlayan SEA-LION LLM'leri Google Cloud'un Vertex AI üzerindeki Model Bahçesi'nde kullanıma sunmayı planlıyor. Bölgesel LLM'ler, yapay zeka araçları ve çoğunlukla doğal dil işleme yeteneklerine odaklanan önceden eğitilmiş modeller için açık kaynaklı bir depo olan Hugging Face'e eklenecek.
AI Singapur Pazartesi günü ayrıca bölgesel LLM'ler için veri kümeleri ve uygulamalar geliştirmek amacıyla Endonezya, Malezya ve Vietnam'daki çeşitli kuruluşlarla Mutabakat Zaptı ve Niyet Mektupları imzaladığını duyurdu.
Ayrıca Singapur ajansı, bölgesel dil sözdizimi ve anlambilimi üzerine kaynaklar oluşturmak için Endonezya, Tayland ve Filipinler'deki ortaklarla birlikte çalıştığını söyledi. Bunlar arasında Tayland'ın Vidyasirimedhi Bilim ve Teknoloji Enstitüsü ve Filipinler'in Ateneo Sosyal Bilgisayar Bilimi Laboratuvarı yer alıyor.
2022'de Google Research, 773 bölgeden anonimleştirilmiş konuşma verileri toplamayı ve ülkenin çeşitli nüfusunu temsil eden bir Yüksek Lisans (LLM) oluşturmayı amaçlayan Vaani Projesi üzerinde çalışmak üzere Hindistan Bilim Enstitüsü ile bir ortaklığı duyurdu.
Geçtiğimiz hafta, AI Singapur'un AI inovasyonu direktörü Laurence Liew, üretken AI oyuncularına, ürünlerinin çeşitli küresel nüfusu daha iyi yansıtmasını sağlamak için bölgesel ve yerel veri modellerini birleştirmeleri çağrısında bulundu. Örneğin SEA-LION'un entegre edilmesi, üretken yapay zeka araçlarının daha doğru yanıtlar üretmesine yardımcı olacak, diyen Liew, yakın zamanda gerçekleşen Asya seçimleri hakkında soru sorulduğunda bölgesel LLM'nin küresel bir kamu platformuna kıyasla daha doğru bir tahmin ürettiğini belirtti.
Günümüzde halka açık üretken yapay zeka araçlarının çoğunun Asya odaklı olmadığını ve doğası gereği veri yanlılığına sahip olabileceğini ekledi. SEA-LION gibi Yüksek Lisanslar "kültürel açıdan daha hassastır" ve bunun, yapay zeka tarafından üretilen üretken yanıtların bölgenin toplumsal karışımını daha iyi yansıtmasını sağlayacağını söyledi.