Nvidia neden robotlara kalemleri döndürmeyi öğretiyor ve üretken yapay zeka nasıl yardımcı oluyor?

Nvidia, insan programcıların yapabileceğinden daha iyi ödüller üreterek robotlar için pekiştirmeli öğrenmeyi geliştirmek amacıyla GPT-4'ü kullandı.

Nvidia'nın robotu simülasyonda.

Yapay zekanın klasik bir uygulaması olan robotik alanı, son zamanlarda üretken yapay zekanın çok yeni ve modaya uygun teknolojisi, doğal dildeki ifadelerle etkileşime girebilen OpenAI'nin büyük dil modelleri gibi programlar tarafından güçlendirildi.

Örneğin, Google'ın DeepMind birimi bu yıl, bir görüntü ve komutla sunulabilen ve ardından hem bir eylem planı hem de komutu tamamlamak için gerekli koordinatları sunabilen büyük bir dil modeli olan RT-2'yi tanıttı.

Ancak üretken programların geçemeyeceği bir eşik vardır: Bir robotun hedefe giden rotasını planlamak gibi "yüksek düzeyli" görevleri yerine getirebilirler, ancak bir robotun eklemlerini manipüle etmek gibi "düşük düzeyli" görevleri gerçekleştiremezler. İnce motor kontrolü için robot.

Nvidia'nın bu ay yayınlanan yeni çalışması, dil modellerinin bu ayrımı aşmaya daha yakın olabileceğini öne sürüyor. Eureka adı verilen bir program, robotları düşük düzeyde yönlendirmek için kullanılabilecek hedefleri belirlemek için dil modellerini kullanıyor; robot ellerinin nesneleri manipüle etmesi gibi ince motor görevlerini gerçekleştirmeye teşvik etmek de dahil.

Eureka programı, muhtemelen bu ayrımı aşmak için pek çok çaba sarf edilmesi gerekecek programlardan yalnızca ilkidir, çünkü Eureka, robotikle ilgili bir bilgisayar simülasyonunun içinde çalışmaktadır; henüz gerçek dünyada fiziksel bir robotu kontrol etmiyor.

Başyazar Yecheng Jason Ma ve Nvidia, Pensilvanya Üniversitesi, Caltech ve University of the University'den meslektaşları şöyle yazıyor: "Kalem döndürme gibi karmaşık düşük seviyeli manipülasyon görevlerini öğrenmek için [büyük dil modellerinden] yararlanmak açık bir sorun olmaya devam ediyor." Texas, Austin'de, bu ay arXiv ön baskı sunucusunda yayınlanan "Eureka: İnsan düzeyinde, büyük dil, modelleri kodlayarak tasarım ödüllendirme" makalesinde.

Ayrıca Nvidia'nın tamamlayıcı bir blog yazısı da var.

Ma ve ekibinin gözlemleri, robot biliminde uzun süredir çalışan araştırmacıların görüşleriyle örtüşüyor. Berkeley'deki Kaliforniya Üniversitesi'nin elektrik mühendisliği bölümünde doçent olan Sergey Levine'e göre, dil modelleri "robotun aslında dünyadaki şeylere fiziksel olarak dokunmasıyla ilgili olan son santim kısmı" için mükemmel bir seçim değil. çünkü böyle bir görev "çoğunlukla anlambilimden yoksundur."

"Kavrayabilmeyi de tahmin etmek için bir dil modeline ince ayar yapmak mümkün olabilir, ancak bunun gerçekten yardımcı olup olmayacağı belli değil, çünkü dil, parmaklarınızı nesnenin üzerine nereye koyacağınız konusunda size ne söylüyor?" Levine ZDNET'e söyledi. "Belki size biraz şey anlatır ama belki de aslında bir fark yaratacak kadar değil."

Eureka belgesi sorunu dolaylı olarak ele alıyor. Dil modelinin robot simülasyonuna ne yapması gerektiğini söylemesini sağlamak yerine, robotun ulaşmaya çalışabileceği hedef durumları olan "ödüller" oluşturmak için kullanılır. Ödüller, Berkeley'den Levine ve diğer robot bilimcilerin robot eğitimi için güvendiği bir tür makine öğrenimi yapay zekası olan takviyeli öğrenme olarak adlandırılan yöntem olarak iyi yerleşmiştir.

Ma ve ekibinin hipotezi, büyük bir dil modelinin, takviyeli öğrenme için bu ödülleri oluşturma konusunda bir insan yapay zeka programcısından daha iyi bir iş çıkarabileceği yönündedir.

Ödül "evrimi" olarak bilinen bir süreçte, programcı sorunun tüm ayrıntılarını, robotik simülasyon hakkındaki verileri - bir robotun yapabileceklerine ilişkin çevresel kısıtlamalar gibi şeyleri - GPT-4'e bir istem olarak yazar. ve daha önce denenmiş olan ödüller ve GPT-4'ten bunu geliştirmesini istiyor. GPT-4 daha sonra yeni ödüller tasarlar ve ödülleri yinelemeli olarak test eder.

Programın adı Evolution'dır: "Acenteler için Evrim Odaklı Evrensel Ödül Kiti" veya Eureka.

Eureka'nın nasıl çalıştığının ana hatları: Robot simülasyonu için tüm insan programcının temel tasarımlarını almak ve ardından birçok ödül oluşturmak ve bunları yinelemeli bir şekilde denemek.

Ma ve ekibi, robot kolunun çekmeceyi açması gibi birçok görev simülasyonunda buluşlarını adım adım ilerlettiler. Onlara göre Eureka, "dört ayaklı, dört pervaneli, iki ayaklı, manipülatör ve birkaç hünerli el dahil olmak üzere 10 farklı robot morfolojisi içeren 29 açık kaynaklı RL ortamından oluşan çeşitli bir pakette ödül tasarımında insan düzeyinde performans elde ediyor."

Eureka programının ödüller hazırladığı bir grup robot sim görevi.

"Göreve özel teşvik veya ödül şablonları olmadan Eureka, görevlerin %83'ünde uzman insan ödüllerinden daha iyi performans gösteren ödüller üretiyor ve ortalama %52'lik normalleştirilmiş bir iyileşme gerçekleştiriyor" diye rapor ediyorlar.

Başardıkları şeyin en çarpıcı örneklerinden biri, sınıfta canı sıkılan bir öğrencinin yapacağı gibi, bir kalemi döndüren simüle edilmiş bir robot eli elde etmektir. "Beş parmaklı bir elin bir kalemi önceden tanımlanmış döndürme konfigürasyonlarında mümkün olduğu kadar çok döngü boyunca hızlı bir şekilde döndürmesi gereken kalem döndürmeyi düşünüyoruz" diye yazıyorlar. Bunu yapmak için Eureka'yı, birkaç yıl önce geliştirilen ve "müfredat öğrenimi" olarak adlandırılan, bir görevin küçük parçalara bölündüğü bir makine öğrenimi yaklaşımıyla birleştiriyorlar.

"İlk kez simüle edilmiş antropomorfik bir Gölge El üzerinde hızlı kalem döndürme manevralarını gösteriyoruz" diye anlatıyorlar.

Yazarlar ayrıca şaşırtıcı bir keşifte de bulunuyor: Eureka'dan aldıkları iyileştirilmiş ödülleri insan ödülleriyle birleştirirlerse, kombo testlerde tek başına insan veya Eureka ödüllerinden daha iyi performans gösteriyor. Bunun nedeninin, bulmacanın Eureka programında olmayan bir kısmına, yani durum bilgisine sahip olması olduğunu düşünüyorlar.

"İnsan tasarımcılar genellikle ilgili durum değişkenleri hakkında bilgi sahibidir ancak bunları kullanarak ödül tasarlama konusunda daha az yetkindirler" diye yazıyorlar. "Ödül işlevine dahil edilmesi gereken ilgili durum değişkenlerinin belirlenmesi çoğunlukla sağduyulu akıl yürütmeyi gerektirdiğinden, bu sezgisel bir anlam taşıyor, ancak ödül tasarımı RL'de özel bilgi ve deneyim gerektiriyor."

Bu, GitHub Copilot ve diğer asistan programlarına benzer olası bir insan-yapay zeka ortaklığına işaret ediyor: "Birlikte, bu sonuçlar Eureka'nın ödül asistanı yeteneğini gösteriyor, insan tasarımcıların yararlı durum değişkenleri hakkındaki bilgilerini mükemmel bir şekilde tamamlıyor ve tasarım yapma konusunda daha az olan yeterliliklerini telafi ediyor bunları kullanarak ödüller kazanırsınız."