Yapay zeka tarafından oluşturulan kodunuz hatalı olursa en fazla sorumlulukla kim karşı karşıya kalır?

Microsoft'un Kosmos-1'i görüntü ve ses istemlerini alabiliyor ve ChatGPT'nin metin istemlerinin ötesinde bir sonraki aşamaya giden yolu açıyor.

Microsoft, yalnızca dil komutlarına yanıt vermekle kalmayıp aynı zamanda görsel altyazı ekleme, görsel soru yanıtlama, görsel soru yanıtlama gibi bir dizi görev için kullanılabilen, çok modlu bir büyük dil modeli (MLLM) olarak tanımladığı Kosmos-1'i tanıttı. ve daha fazlası.

OpenAI'nin ChatGPT'si, GPT (Generative Pre-trained Transformer) modeli gibi LLM kavramının ve bir metin istemini veya girişi bir çıktıya dönüştürme olasılığının popülerleşmesine yardımcı oldu.

İnsanlar bu sohbet özelliklerinden etkilense de, Yüksek Lisans'lar görüntü ve ses komutları gibi çok modlu girdilerle hâlâ mücadele ediyor; Microsoft'un yapay zeka araştırmacıları, 'İhtiyacınız Olan Tek Şey Dil Değil: Algıyı Dil Modelleriyle Hizalamak' adlı bir makalede tartışıyorlar. . Makale, ChatGPT benzeri yeteneklerin ötesinde yapay genel zekaya (AGI) geçmek için çok modlu algının veya bilgi edinmenin ve gerçek dünyada "temellendirmenin" gerekli olduğunu öne sürüyor.

Makalede "Daha da önemlisi, çok modlu girdinin kilidinin açılması, dil modellerinin uygulamalarını çok modlu makine öğrenimi, belge zekası ve robot bilimi gibi daha yüksek değerli alanlara büyük ölçüde genişletiyor" diyor.

Alphabet'in sahibi olduğu robot bilimi şirketi Everyday Robots ve Google'ın Beyin Takımı, geçen yıl robotların insanların fiziksel görev tanımlarını takip etmesini sağlamak için LLM'leri kullanırken temel almanın rolünü gösterdi. Yaklaşım, dil modelini belirli bir gerçek dünya bağlamında mümkün olan görevlere dayandırmayı içeriyordu. Microsoft ayrıca OpenAI'nin GPT modellerini Bing arama sıralaması ve arama sonuçlarından gelen gerçek dünya geri bildirimleriyle entegre etmek için Prometheus AI modelinde temellendirmeyi kullandı.

Microsoft, Kosmos-1 MLLM'nin genel yöntemleri algılayabildiğini, talimatları takip edebildiğini (sıfır adımlı öğrenme) ve bağlamda öğrenebildiğini (birkaç adımlı öğrenme) söylüyor. Makalede, "Amaç, modellerin görebilmesi ve konuşabilmesi için algıyı Yüksek Lisans'larla uyumlu hale getirmektir" diyor.

Kosmos-1'in istemlere yönelik çıktılarının gösterimleri arasında, ağzında çizilmiş bir gülümsemeyle bir kağıt tutan bir kişinin olduğu bir kedi yavrusu görüntüsü yer alıyor. Soru şu: 'Bu fotoğrafın neden komik olduğunu açıklayın?' Kosmos-1'in cevabı şu: "Kedi, kediyi gülümseten bir maske takıyor."

Diğer örnekler de bunu gösteriyor: Bir görüntüden tenisçinin at kuyruğu olduğunu algılamak; saatin 10:10'daki saat kadranı görüntüsünden okunması; 4 + 5 görüntüsünden toplamın hesaplanması; 'TorchScale nedir?' (bir PyTorch makine öğrenimi kitaplığıdır), GitHub açıklama sayfasına dayalıdır; ve Apple Watch kadranından kalp atış hızının okunması.

Örneklerin her biri, Kosmos-1 gibi MLLM'lerin, bir Windows 10 kullanıcısına bilgisayarını nasıl yeniden başlatacağını (veya görsel bir komutla başka bir görevi) nasıl yeniden başlatacağını söylemekten, başlatmak için bir web sayfasını okumaya kadar birçok durumda bir görevi otomatikleştirme potansiyelini göstermektedir. bir web araması, bir cihazdan sağlık verilerinin yorumlanması, resimlere altyazı eklenmesi vb. Ancak model video analiz yeteneklerini içermiyor.

Araştırmacılar ayrıca Kosmos-1'in sıfır atışlı Raven IQ testinde nasıl performans gösterdiğini de test etti. Sonuçlar "mevcut model ile yetişkinlerin ortalama seviyesi arasında büyük bir performans farkı" buldu, ancak aynı zamanda doğruluğunun, MLLM'lerin algıyı dil modelleriyle hizalayarak "sözlü olmayan bir bağlamda soyut kavramsal kalıpları algılama" potansiyelini gösterdiğini de buldu.

Microsoft'un Bing'i Google aramaya daha iyi bir rakip haline getirmek için Transformer tabanlı dil modellerini kullanma planı göz önüne alındığında "web sayfası soru cevaplama" araştırması ilginçtir.

"Web sayfası soru cevaplama, web sayfalarındaki sorulara cevap bulmayı amaçlar. Modelin hem anlambilimi hem de metinlerin yapısını kavramasını gerektirir. Web sayfasının yapısı (tablolar, listeler ve HTML düzeni gibi) anahtar rol oynar. Araştırmacılar, bilginin nasıl düzenlendiği ve görüntülendiği konusundaki rolün, modelimizin anlambilimini ve web sayfalarının yapısını anlama yeteneğini değerlendirmemize yardımcı olabileceğini açıkladı.