Google DeepMind'ın yeni RT-2 sistemi robotların yeni görevleri yerine getirmesini sağlıyor

Terminatör filminin konusunu yaşamaya yaklaşıyor muyuz?

Yapay zeka ilerledikçe, her zamankinden daha fazla robot ve otomasyonun olduğu bir geleceğe bakıyoruz. Zaten etrafımızı sardılar; evinizde ustaca gezinebilen robot süpürge, tüylü arkadaşlarınızı eğlendirecek robot evcil hayvan arkadaşı ve hafta sonu ev işlerini üstlenecek robot çim biçme makineleri. Jetgilleri gerçek hayatta yaşamaya doğru adım adım ilerliyor gibiyiz. Ancak ne kadar akıllı görünseler de bu robotların sınırlamaları var.

Google DeepMind, robotik oyununu etkili bir şekilde birkaç seviyeye taşıyan, robot kontrolüne yönelik ilk görüş-dil-eylem (VLA) modeli olan RT-2'yi tanıttı. Sistem, ChatGPT ve Bing gibi yapay zeka sohbet robotlarının arkasındaki büyük dil modellerinin eğitilmesine benzer şekilde, internetten alınan metin verileri ve görüntüler üzerinde eğitildi.

Evdeki robotlarımız, gerçekleştirmeye programlandıkları basit görevleri yerine getirebilirler. Örneğin yerleri süpürün ve sol taraftaki sensör bir duvar algılarsa, onun etrafından dolaşmayı deneyin. Ancak geleneksel robotik kontrol sistemleri, yeni durumları ve beklenmedik değişiklikleri ele alacak şekilde programlanmamıştır; genellikle aynı anda birden fazla görevi gerçekleştiremezler.

RT-2, zaman içinde yeni durumlara uyum sağlamak, hem dili hem de görsel girişi anlamak için web ve robot verileri gibi birden fazla veri kaynağından bilgi edinmek ve daha önce karşılaştığı veya gerçekleştirmek üzere eğitilmediği görevleri gerçekleştirmek üzere tasarlanmıştır.

Google'dan "Web ölçekli veriler üzerinde önceden eğitilmiş bir görsel dil modeli (VLM), RT-1 robotik verilerinden öğrenerek bir robotu kontrol edebilen bir görsel dil eylemi (VLA) modeli olan RT-2 haline geliyor." Derin Düşünce.

Geleneksel bir robot, bir topu alacak ve bir küpü alırken tökezleyecek şekilde eğitilebilir. RT-2'nin esnek yaklaşımı, bir robotun bir topu alma konusunda eğitim almasına ve daha önce hiç görülmemiş bir küpü veya başka bir oyuncağı almak için ekstremitelerini nasıl ayarlayacağını anlayabilmesine olanak tanır.

Geleneksel robotların ihtiyaç duyduğu, bir nesneyi fiziksel olarak tanımaları ve onu nasıl alacaklarını öğrenmeleri gereken milyarlarca veri noktası üzerinde zaman alan, gerçek dünya eğitimi yerine, RT-2 büyük miktarda veri üzerinde eğitilir ve Daha önce hiç deneyimlenmemiş görevleri yerine getirerek bu bilgiyi eyleme aktarın.

Google DeepMind'ın robot bilimi başkanı Vincent Vanhoucke, "RT-2'nin bilgileri eylemlere aktarma yeteneği, robotların yeni durumlara ve ortamlara daha hızlı uyum sağlama konusunda umut verdiğini gösteriyor" dedi. "RT-2 modellerini 6.000'den fazla robotik denemede test eden ekip, RT-2'nin, eğitim verilerindeki görevlerde veya 'görülen' görevlerde önceki modelimiz RT-1 kadar iyi çalıştığını buldu. Ve neredeyse iki katına çıktı yeni, görülmemiş senaryolardaki performansı RT-1'in %32'sinden %62'ye çıktı."

Google DeepMind tarafından yayınlanan RT-2'nin çalışma örneklerinden bazıları.

DeepMind ekibi, RT-2'yi eğitmek için Pathways Language and Image Model (PaLI-X) ve Pathways Dil Modeli Somutlaştırılmış (PaLM-E) olmak üzere mevcut iki modeli uyarladı. PaLI-X, modelin, devasa miktarlardaki görseller ve görsel bilgilerle eğitilmiş görsel verileri diğer ilgili açıklamalar ve etiketlerle çevrimiçi olarak işlemesine yardımcı olur. PaLI-X ile RT-2 farklı nesneleri tanıyabilir, çevresindeki sahneleri bağlam açısından anlayabilir ve görsel verileri anlamsal açıklamalarla ilişkilendirebilir.

PaLM-E, RT-2'nin dili yorumlamasına yardımcı olur, böylece talimatları kolayca anlayabilir ve bunları çevresinde olanlarla ve o anda ne yapmakta olduğuyla ilişkilendirebilir.

DeepMind ekibi bu iki modeli RT-2'nin omurgası olarak çalışacak şekilde uyarlarken, bir robotun dili ve görsel verileri anlamasını ve ardından ihtiyaç duyduğu uygun eylemleri oluşturmasını sağlayan yeni VLA modelini yarattı.

RT-2 başlı başına bir robot değil; robotları her zamankinden daha verimli bir şekilde kontrol edebilen bir model. RT-2 özellikli bir robot, görsel ve dil verilerini kullanarak karmaşıklık dereceleri değişen görevleri gerçekleştirebilir; örneğin, belgeler üzerindeki etiketleri okuyarak ve bunları sıralayarak dosyaları alfabetik olarak düzenlemek ve ardından bunları doğru yerlere koymak gibi.

Ayrıca karmaşık görevleri de yerine getirebilir. Örneğin, "Bu paketi postalamam gerekiyor ama pullarım bitti" derseniz, RT-2 önce yapılması gerekenleri belirleyebilir (örneğin yakınlarda pul satan bir Postane veya tüccar bulmak gibi), Paketleyin ve lojistiği oradan halledin.

Vanhoucke, "RT-2, yapay zekadaki ilerlemelerin hızla robot bilimine nasıl aktarıldığını göstermekle kalmıyor, aynı zamanda daha genel amaçlı robotlar için de büyük umut vaat ediyor." diye ekledi.

'Söz'ün Terminatörünkinden çok Jetgiller'in planını hayata geçirmeye yönelik olduğunu umalım.