Apple'ın yeni AI modeli ana ekranınızı anlayabilir ve Siri'yi güçlendirebilir
Ana ekranınızdaki öğeleri anlayabilen ve muhtemelen Siri'nin sizin için görevleri gerçekleştirmesine yardımcı olabilecek çok modlu bir geniş dil modeli olan Ferret-UI ile tanışın.
Üretken yapay zeka çılgınlığı başladığından bu yana herhangi bir yapay zeka modeli piyasaya sürmemiş olsa da Apple, bazı yapay zeka projeleri üzerinde çalışıyor. Daha geçen hafta, Apple araştırmacıları şirketin üzerinde çalıştığı yeni bir dil modelini açıklayan bir makale paylaştılar ve içeriden bilgi sahibi kaynaklar, Apple'ın çalışmalarında iki adet yapay zeka destekli robot bulunduğunu bildirdi. Şimdi ise başka bir araştırma makalesinin yayınlanması Apple'ın daha yeni başladığını gösteriyor.
Apple araştırmacıları Pazartesi günü, mobil kullanıcı arayüzü (UI) ekranlarını anlayabilen yeni bir çok modlu geniş dil modeli (MLLM) olan Ferret-UI'yi sunan bir araştırma makalesi yayınladı.
MLLM'ler, metnin ötesine geçerek görüntü ve ses gibi çok modlu öğelerin derinlemesine anlaşılmasını göstermesi açısından standart LLM'lerden farklıdır. Bu durumda Ferret-UI, kullanıcının ana ekranının uygulama simgeleri ve küçük metinler gibi farklı öğelerini tanıyacak şekilde eğitilir.
Uygulama ekranı öğelerini tanımlamak, küçük yapıları nedeniyle geçmişte MLLM'ler için zorlayıcıydı. Makaleye göre bu sorunun üstesinden gelmek için araştırmacılar Ferret'in üstüne "herhangi bir çözünürlük" eklediler, bu da onun ekrandaki ayrıntıları büyütmesine olanak tanıyor.
Buna dayanarak, Apple'ın MLLM'si aynı zamanda Ferret-UI'nin kullanıcı arayüzü ekranlarını tam olarak kavramasına ve makaleye göre ekranın içeriğine göre talimat verildiğinde görevleri yerine getirmesine olanak tanıyan "referans, topraklama ve akıl yürütme yeteneklerine" sahiptir. fotoğraf aşağıda.
Apple araştırmacıları, modelin diğer MLLM'lerle karşılaştırıldığında nasıl performans gösterdiğini ölçmek için Ferret-UI'yi halka açık kıyaslamalarda, temel görevlerde ve gelişmiş görevlerde OpenAI'nin MLLM'si olan GPT-4V ile karşılaştırdı.
Ferret-UI, iPhone ve Android'de simge tanıma, OCR, pencere öğesi sınıflandırması, simge bulma ve pencere öğesi bulma görevleri de dahil olmak üzere temel kategorideki neredeyse tüm görevlerde GPT-4V'den daha iyi performans gösterdi. Bunun tek istisnası, aşağıdaki grafikte görüldüğü gibi GPT-4V'nin Ferret modellerinden biraz daha iyi performans gösterdiği iPhone'daki "metin bulma" göreviydi.
Konuşmaların kullanıcı arayüzünün bulgularına dayandırılması söz konusu olduğunda GPT-4V, Ferret'ten %93,4 ila %91,7 oranında daha iyi performans göstererek hafif bir avantaja sahip. Ancak araştırmacılar, GPT-4V'nin seçtiği önceden tanımlanmış kutular yerine ham koordinatlar ürettiği için Ferret UI'nin performansının hala "dikkate değer" olduğunu belirtiyorlar. Aşağıda bir örnek bulabilirsiniz.
Belgede Apple'ın bu teknolojiyi ne amaçla kullanmayı planladığı ya da kullanıp kullanmayacağı ele alınmıyor. Bunun yerine araştırmacılar, Ferret-UI'nin gelişmiş yeteneklerinin kullanıcı arayüzü ile ilgili uygulamaları olumlu yönde etkileme potansiyeline sahip olduğunu daha geniş bir şekilde belirtiyorlar.
Araştırmacılar, "Bu gelişmiş yeteneklerin ortaya çıkışı, çok sayıda alt kullanıcı arayüzü uygulaması için önemli ilerlemeler vaat ediyor ve böylece Ferret-UI'nin bu alanda sağladığı potansiyel faydaları artırıyor" diye yazdı.
Ferret-UI'nin Siri'yi iyileştirme yolları açıktır. Modelin, kullanıcının uygulama ekranını tam olarak anlaması ve belirli görevlerin nasıl gerçekleştirileceğine ilişkin bilgisi nedeniyle, Ferret-UI, görevleri sizin için gerçekleştirmek üzere Siri'yi güçlendirmek için kullanılabilir.
Sorulara yanıt vermekten daha fazlasını yapan bir asistana kesinlikle ilgi var. Rabbit R1 gibi yeni yapay zeka aygıtları, uçuş rezervasyonu yapmak veya yemek siparişi vermek gibi tüm bir görevi, onlara adım adım talimat vermenize gerek kalmadan yerine getirebilmeleri nedeniyle büyük ilgi görüyor.