Apple, Stanford ve Google yeniliklerini kullanarak zayıflatılmış bir yapay zeka modeli oluşturuyor

Telefon devinin açık kaynaklı geniş dil modeli, birçok araştırmacının görüşlerini birleştirerek önceki modelleri geride bırakıyor.

Dünya, Apple'ın Microsoft ve Google'ın üretken yapay zeka alanındaki hakimiyetine karşı ne yapacağını görmek için izliyor. Çoğu kişi, teknoloji devinin yeniliklerinin iPhone ve diğer Apple cihazlarındaki sinir ağları şeklini alacağını varsayıyor. Apple'ın ne üzerinde çalıştığına dair ipuçları burada burada ortaya çıkıyor.

Apple geçen hafta, mobil cihazlarda çalışan ve Google'ın derin öğrenme akademisyenleri ve Stanford ve diğer yerlerdeki akademisyenler de dahil olmak üzere çeşitli araştırma kurumlarının buluşlarını bir araya getiren "gömülü" bir büyük dil modeli (LLM) olan OpenELM'yi tanıttı.

OpenELM'in tüm kodları, eğitim yaklaşımına ilişkin çeşitli belgelerle birlikte GitHub'da yayınlanmaktadır. Apple ayrıca, Sachin Mehta ve ekibi tarafından arXiv ön baskı sunucusunda yayınlanan "OpenELM: Açık Kaynak Eğitimi ve Çıkarım Çerçevesine Sahip Verimli Bir Dil Modeli Ailesi" adlı makalesinde de çalışmasının ayrıntılarını açıkladı.

Apple'ın araştırmacıları yalnızca 1,3 milyar sinir ağırlığına veya parametrelere sahip bir sinir ağı kullandı ve bu da şirketin mobil cihazlara odaklandığını gösteriyor. Bu sayı, OpenAI'nin GPT-4'ü ve Google'ın Gemini'si gibi modellerin kullandığı yüz milyarlarca parametrenin çok altında. Daha fazla parametre, gereken bellek miktarını doğrudan artırır; daha küçük bir sinir ağı, bir mobil cihaza daha kolay sığabilir.

OpenELM'in önemli bir katkısı olmasaydı pek de dikkat çekici olmazdı: verimlilik. Araştırmacılar, derin sinir ağının katmanlarını, yapay zeka modelinin, sinir ağı eğitilirken ne kadar verinin hesaplanması gerektiği konusunda önceki modellere göre daha verimli olmasını sağlayacak şekilde ayarlıyor. Spesifik olarak, mobil bilgi işlem için çok sayıda sinir ağının sonuçlarını "2 kat daha az eğitim öncesi jeton gerektirirken" karşılayabilir veya yenebilirler; burada jetonlar, eğitim verilerindeki bireysel karakterler, kelimeler veya cümle parçalarıdır.

Apple, birçok Yüksek Lisans ile aynı yaklaşımla başlıyor: bir transformatör. Transformatör, Google bilim insanları tarafından 2017'de tanıtılan, dil anlamada imza niteliğindeki sinir ağıdır. Google'ın BERT ve OpenAI'nin GPT model ailesi de dahil olmak üzere, o zamandan bu yana her büyük dil modeli, transformatörü benimsemiştir.

Apple, Washington Üniversitesi, Facebook Yapay Zeka Araştırmaları ve Allen Yapay Zeka Enstitüsü'ndeki araştırmacılar tarafından 2021'de tanıtılan ve DeLighT adı verilen bir teknikle transformatörü eriterek yüksek verimlilik elde ediyor. Bu çalışma, ağın her "katmanı" için tüm sinir ağırlıklarının aynı olduğu ve verilerin geçtiği ardışık matematiksel hesaplamalar olduğu geleneksel yaklaşımdan koptu.

Bunun yerine araştırmacılar her katmanı farklı sayıda parametreye sahip olacak şekilde seçici olarak ayarladılar. Bazı katmanların nispeten az parametresi olduğundan, yaklaşımlarını "derin ve hafif transformatör" olarak adlandırdılar, dolayısıyla DeLighT adını da aldılar.

Araştırmacılar, "DeLighT'nin temel Transformatörlerin performansını ortalama 2 ila 3 kat daha az parametreyle eşleştirdiğini veya iyileştirdiğini" söylüyorlar. Apple, DeLighT'yi kullanarak, sinir ağının her katmanının farklı sayıda sinir parametresine sahip olduğu ve parametrelere tekdüze olmayan bir yaklaşım getiren OpenELM'yi yarattı.

Mehta ve ekibi şöyle yazdı: "Mevcut LLM'ler, modeldeki her transformatör katmanı için aynı konfigürasyonu kullanıyor ve bu da parametrelerin katmanlar arasında eşit şekilde tahsis edilmesini sağlıyor." "Bu modellerden farklı olarak, OpenELM'deki her transformatör katmanı farklı bir konfigürasyona sahiptir (örn. kafa sayısı ve ileri besleme ağ boyutu), bu da modelin her katmanında değişken sayıda parametreye neden olur."

Tek tip olmayan yaklaşım, "OpenELM'in daha yüksek doğruluk elde etmek için mevcut parametre bütçesini daha iyi kullanmasına olanak tanıyor" diye yazıyorlar.

Apple'ın kendisini ölçtüğü rekabet, Mohamed bin Zayed Yapay Zeka Üniversitesi'nden ve işbirliği yapan kurumlardan MobiLlama ve Şubat 2024'te Allen Yapay Zeka Enstitüsü'ndeki araştırmacılar ve Washington Üniversitesi'nden akademisyenler tarafından tanıtılan OLMo gibi benzer küçük sinir ağlarını kullanıyor. Yale Üniversitesi, New York Üniversitesi ve Carnegie Mellon Üniversitesi.

Apple'ın deneyleri mobil cihaz üzerinde gerçekleştirilmiyor. Bunun yerine şirket, tek bir Nvidia GPU'ya sahip Intel tabanlı bir Ubuntu Linux iş istasyonu kullanıyor.

Çok sayıda kıyaslama testinde OpenELM, daha küçük olmasına ve/veya daha az token kullanmasına rağmen daha iyi puanlar elde ediyor. Örneğin, yedi testten altısında OpenELM, daha az parametreye (1,08 milyara karşılık 1,18 milyar) ve OLMo için 3 trilyona karşılık yalnızca 1,5 trilyon eğitim tokenına sahip olmasına rağmen OLMo'yu geride bırakıyor.

Her ne kadar OpenELM daha doğru sonuçları daha verimli bir şekilde üretebilse de, yazarlar OpenELM'in bazı durumlarda tahminlerini üretmede daha yavaş olduğu başka araştırma alanlarına da dikkat çekti.

Raporlar, Apple'ın iOS 18 entegrasyonu için Google, OpenAI veya başka bir önde gelen yapay zeka şirketinden yapay zeka teknolojisi lisansı alabileceğini öne sürüyor. Apple'ın açık kaynaklı yazılıma yaptığı yatırım, şirketin kendi cihazlarının faydalanabileceği açık bir ekosistemi güçlendirmeye çalışabileceği ihtimalini ortaya koyuyor.