OpenAI'nin o450 önizlemesine rakip olmak için 19 $ve 1 saat yeterlidir
UC Berkeley, o1'in matematik ve kodlama yetenekleriyle aynı seviyede olan açık kaynaklı bir model yayınladı - maliyetin çok altında.
Açık kaynak yaklaşımları, yapay zekanın (AI) demokratikleştirilmesinde umut vaat etmeye devam ediyor.
NovaSky'nin Sky-T1-32B-Önizlemesi
Cuma günü, UC Berkeley 'deki NovaSky araştırma ekibi, OpenAI' nin o1 önizlemesine kıyasla benzer bir performans gösteren yeni bir akıl yürütme modeli olan Sky-T1-32B-Preview'u yayınladı - yalnızca açık kaynak kodlu ve sekiz Nvidia H100 GPU kullanılarak 450 doların altında bir fiyata sadece 19 saat içinde oluşturuldu.
Ekip, Alibaba'nın Qwen2.5-32-Instruct'ına ince ayar yaparak Sky-T1'i geliştirdi ve o1-preview ile karşılaştırılabilir başka bir açık kaynaklı model olan QwQ-32B-Preview ile oluşturulan veriler üzerinde eğitti. Sentetik eğitim verilerinin kullanılması maliyetlerin düşürülmesine yardımcı olabilir.
"Veri karışımını, akıl yürütme gerektiren çeşitli alanları kapsayacak şekilde düzenliyoruz ve veri kalitesini artırmak için bir reddetme örnekleme prosedürü uyguluyoruz. Daha sonra, veri kalitesini artırmak ve ayrıştırmayı kolaylaştırmak için GPT-4o-mini ile QwQ izlerini Still-2'den ilham alan iyi biçimlendirilmiş bir sürüme yeniden yazıyoruz," diyor ekip blogdaki veri hazırlama sürecinden bahsediyor.
OpenAI'nin o1 önizlemesinden daha iyi performans
Model, matematik ve kodlama kıyaslamalarında o1 önizleme seviyesinde veya üzerinde performans gösterdi, ancak daha ileri fizikle ilgili soruları içeren lisansüstü düzeydeki kıyaslama GPQA-Diamond'da o1'i geçemedi. NovaSky, ağırlıklar, veriler, altyapı ve teknik ayrıntılar dahil olmak üzere modelin tüm parçalarını açık kaynaklı hale getirdi.
O1 artık önizleme aşamasındadır ve bu nedenle ilk sürümünden daha yeteneklidir. Ayrıca OpenAI, şirketin o1'den daha iyi performans gösterebileceğini söylediği o3'ü piyasaya sürmeye hazırlanıyor. Ancak NovaSky ekibinin bloglarında belirttiği gibi, Sky-T1'in bu kadar hızlı bir şekilde inşa edilebilmesi, "üst düzey akıl yürütme yeteneklerini uygun maliyetli ve verimli bir şekilde çoğaltmanın mümkün olduğunu gösteriyor."
Daha uygun fiyatlı bir akıl yürütme modeli
Ekip, blog gönderisinde Lambda Cloud fiyatlandırmasına göre, nispeten kısa 19 saatlik eğitim süresinin Sky-T1'in inşa edilmesinin sadece 450 dolara mal olduğu anlamına geldiğini açıklıyor. GPT-4'ün şüpheli bir $78 milyon hesaplama kullandığı göz önüne alındığında , OpenAI'nin finansmanından yoksun akademik ve açık kaynak grupları tarafından kopyalanabilecek daha uygun fiyatlı bir akıl yürütme modeli örneği sunmak küçük bir başarı değildir.
Üretken yapay zekayı benimseyenlerin neredeyse yarısı, maliyet ve güven endişelerini öne sürerek açık kaynaklı olmasını istiyor. Açık kaynaklı yapay zekada devam eden atılımlar, daha küçük laboratuvarlar, kar amacı gütmeyen kuruluşlar ve diğer kuruluşlar için rekabetçi modeller geliştirmek için daha eşit bir oyun alanı yaratabilir - zaten teknoloji devlerinin hakim olduğu yeni bir alan için canlandırıcı bir dönüş.