Google'ın kuantum atılımı 'gerçekten dikkat çekici' - ancak yapılacak daha çok şey var
Derin öğrenme modellerini eğitmek maliyetli ve zordur, ancak bunları üretimde dağıtmak ve çalıştırmak kadar değildir. Deci bu konuyu ele almaya yardımcı olmak istiyor.
Derin Öğrenme, muhtemelen şu anda en popüler makine öğrenimi biçimidir. Her sorun bir derin öğrenme modeline indirgenmese de, bilgisayarla görme ve doğal dil işleme gibi alanlarda derin öğrenme yaygındır.
Bununla birlikte, derin öğrenme modelleriyle ilgili önemli bir sorun, kaynağa aç olmalarıdır. Eğitmek için çok fazla veri ve bilgi işlem, çalıştırmak için ise çok fazla bilgi işlem gerektirirler. Kural olarak, GPU'ların hem eğitim hem de çıkarım için CPU 'lardan daha iyi performans gösterdiği bilinirken, bazı modeller CPU'larda hiç çalışamaz. Şimdi Deci bunu değiştirmek istiyor.
Derin öğrenme modellerini optimize etmeyi amaçlayan bir şirket olan Deci, görüntü sınıflandırması için yeni bir model ailesi yayınlıyor. Bu modeller hem doğruluk hem de çalışma süresi açısından iyi bilinen alternatiflerden daha iyi performans gösterir ve popüler Intel Cascade Lake CPU'larda çalışabilir.
Deci CEO'su ve kurucu ortağı Yonatan Geifman ile Deci'nin yaklaşımını ve bugünkü sürümü hakkında konuştuk.
Derin öğrenme performansı, ödünleşimler gerektirir
Deci, 2019 yılında Geifman, Jonathan Elial ve Ran El-Yaniv tarafından ortaklaşa kuruldu. Tüm kurucuların makine öğrenimi konusunda bir geçmişi vardır ve Geifman ve El-Yaniv de Google'da çalışmıştır. Derin öğrenmeyi üretime dahil etmenin ne kadar zor olduğunu ilk elden deneyimleme şansı buldular.
Deci kurucuları, derin öğrenme modellerini daha ölçeklenebilir hale getirmenin, üretim ortamlarında daha iyi çalışmalarını sağlamaya yardımcı olacağını fark etti. Ayrıca, donanım şirketlerinin geniş ölçekte çıkarım yapmak için daha iyi AI çipleri oluşturmaya çalıştığını da gördüler.
Deci ile yaptıkları bahis, derin öğrenmeyi daha ölçeklenebilir ve daha verimli hale getirmek ve böylece üretim ortamlarında daha iyi çalışmalarını sağlamak için model tasarım alanına odaklanmaktı. Yapılarında ve üretimdeki temel donanımla nasıl etkileşim kurduklarında daha verimli olan modeller tasarlamak için otomatik bir yaklaşım kullanıyorlar.
Deci'nin tescilli Otomatik Sinir Mimarisi Yapısı (AutoNAC) teknolojisi, DeciNet'leri geliştirmek için kullanılır. DeciNet'ler, Deci'nin doğruluk ve çalışma zamanı performansı açısından bilinen son teknoloji modellerden daha iyi performans gösterdiğini iddia ettiği önceden eğitilmiş modellerdir.
Geifman, derin öğrenmede daha iyi doğruluk elde etmek için, daha büyük modelleri alabilir ve bunları biraz daha fazla veriyle biraz daha fazla zaman boyunca eğitebilir ve daha iyi sonuçlar elde edebilirsiniz. Ancak bunu yapmak, üretimde çalıştırmak için daha yoğun kaynak kullanan daha büyük modeller oluşturur. Deci'nin vaat ettiği şey, üretimde hem doğru hem de hızlı modeller oluşturmak için bir platform ve araçlar sağlayarak bu optimizasyon sorununu çözmektir.
Geifman, bu optimizasyon problemini çözmenin mevcut nöral mimarinin manuel olarak ayarlanmasından daha fazlasını gerektirdiğini ve AutoNAC'ın özel kullanım durumları için özel modeller tasarlayabileceğini söyledi. Bu, eldeki verilerin ve makine öğrenimi görevlerinin farkında olmanın yanı sıra modelin konuşlandırılacağı donanımın da farkında olmak anlamına gelir.
Intel Cascade Lake CPU'lar için diğer derin öğrenme görüntü sınıflandırma modellerine kıyasla görüntü sınıflandırması için DeciNet'lerin performansı. Resim: Deci
Bugün duyurulan DeciNet'ler, Geifman'ın belirttiği gibi birçok bulut örneğinde popüler bir seçim olan Intel Cascade Lake CPU'larda görüntü sınıflandırması için tasarlanmıştır. Deci, Geifman'ın 3. tarafların kopyalayabilmesi için piyasaya sürüleceğini söylediği bazı kriterlere dayanarak bu modelleri "endüstri lideri" olarak adlandırıyor.
Bilgisayarla görmede üç ana görev vardır: görüntü sınıflandırma, nesne algılama ve anlamsal segmentasyon. Geifman, Deci'nin her görev için birden fazla türde DeciNet ürettiğini söyledi. Her DeciNet, doğruluk ve gecikme arasındaki denge olarak tanımlanan farklı bir performans seviyesini hedefler.
Deci'nin yayınladığı sonuçlarda, DeciNet'in farklı karmaşıklık seviyelerine (yani parametre sayısı) sahip varyasyonları, Google'ın EfficientNet'i ve endüstri standardı ResNet gibi diğer görüntü sınıflandırma modellerinin varyasyonlarıyla karşılaştırıldı.
Geifman'a göre Deci, çeşitli bilgisayarla görme görevlerinden üretimde konuşlandırılacak her türlü donanımdaki NLP görevlerine kadar, müşterilerin tamamen kendi kendine hizmet veren bir teklifte kullanmaları için önceden optimize edilmiş düzinelerce modele sahip.
Derin öğrenme çıkarım yığını
Ancak, burada bir yakalama var. DeciNet'ler önceden eğitildiğinden, bu, bir müşterinin özel kullanım durumu ve verileri için gerektiği gibi performans göstermeyecekleri anlamına gelir. Bu nedenle, kullanım durumunun gereksinimleri için en uygun doğruluk/gecikme dengesine sahip DeciNet'i seçtikten sonra, kullanıcıların verileri için ince ayar yapmaları gerekir.
Daha sonra, eğitilen modelin API veya GUI aracılığıyla Deci'nin platformuyla derlendiği ve nicelleştirildiği bir optimizasyon aşaması takip eder. Son olarak, model Deci'nin dağıtım araçları Infery ve RTiC'den yararlanılarak konuşlandırılabilir. Geifman, bu uçtan uca kapsamın Deci için bir farklılaştırıcı olduğunu söyledi. Özellikle, mevcut modeller de DeciNets'e taşınabilir.
Uçtan uca yaşam döngüsü göz önüne alındığında, ekonomi ve ödünleşimler önemli bir rol oynar. Deci'nin teklifinin ardındaki düşünce, eğitim modellerinin maliyetli olmasına rağmen, aslında üretimdeki modelleri çalıştırmaktan daha az maliyetli olmasıdır. Bu nedenle, mevcut modellerle karşılaştırılabilir doğruluk ve gecikme süresine sahipken, çalıştırılması daha az maliyetli modeller üretmeye odaklanmak mantıklıdır.
Dağıtım donanımını hedeflerken de aynı pragmatik yaklaşım benimsenir. Bazı durumlarda, gecikmeyi en aza indirmek birincil hedef olduğunda, mümkün olan en hızlı donanım seçilecektir. Diğer durumlarda, düşük işletme maliyeti karşılığında optimum gecikme süresinden daha azını elde etmek mantıklı olabilir.
Uç dağıtımlar için yapılacak bir seçim bile olmayabilir: donanım neyse odur ve konuşlandırılacak model belirli kısıtlamalar altında çalışabilmelidir. Deci, çeşitli bulut örnekleri ve donanım türleri için gecikme süresini, aktarım hızını ve maliyeti karşılaştırmak için kullanılabilecek bir öneri ve kıyaslama aracı sunarak kullanıcıların seçim yapmasına yardımcı oluyor.
Deci, Intel ile bir ortaklık içindedir. Bugünkü sürüm Intel ile işbirliği içinde yapılmamış olsa da, her iki taraf için de faydaları açıktır. Intel, Deci ile birlikte çalışarak CPU'larında devreye alınabilecek derin öğrenme modelleri yelpazesini genişletiyor. Deci, Intel ile birlikte çalışarak pazara açılma erişimini genişletiyor.
Deci, çeşitli dağıtım hedeflerinde derin öğrenme modeli çıkarımının optimizasyonunu hedefliyor. Resim: Deci
Ancak Geifman'ın belirttiği gibi, Deci, GPU'lar, FPGA'lar ve özel amaçlı ASIC hızlandırıcılar dahil olmak üzere çok çeşitli donanımları hedefliyor ve HPE ve AWS gibi şirketlerle de ortaklıkları var. Deci ayrıca makine öğrenimi için veri merkezleri ve hizmetler satan çeşitli donanım üreticileri, bulut sağlayıcıları ve OEM'lerle ortaklıklar üzerinde çalışıyor.
Deci'nin yaklaşımı, daha geniş bir dağıtım hedefleri kümesini hedeflemesi dışında TinyML'yi anımsatıyor. Geifman, bu konuyu tartışırken makine öğrenimi çıkarım hızlandırma yığınına atıfta bulundu. Bu kavramsallaştırmaya göre, hızlanma yığının farklı katmanlarında gerçekleşebilir.
Bu, modellerin nereye dağıtılacağını seçerek donanım katmanında gerçekleşebilir. Nvidia'nın Tensor RT'si veya Intel'in OpenVino'su gibi donanım üreticileri tarafından sağlanan çözümleri gördüğümüz çalışma zamanı/grafik derleyici katmanında olabilir. Ayrıca Microsoft tarafından desteklenen ONNX açık kaynağının yanı sıra OctoML tarafından ticarileştirilen Apache TVM gibi ticari çözümlerimiz de var.
Bunun da ötesinde, Geifman'ın belirttiği gibi, çeşitli açık kaynak çözümleri tarafından yaygın olarak kullanıldığını ve bazı satıcıların ticarileştirme üzerinde çalıştığını belirttiği havuzlama ve niceleme gibi model sıkıştırma tekniklerimiz var. Geifman, Deci'yi bunların üzerinde bir seviyede, yani nöral mimari arama seviyesinde çalışıyor ve veri bilimcilerinin doğruluğu korurken daha iyi gecikme süresi elde etmek için modeller tasarlamasına yardımcı oluyor.
Deci'nin platformu, performansı artırmak ve geliştirme süresini kısaltmak isteyen geliştiricilere yönelik bir Topluluk katmanının yanı sıra DeciNet kullanımı da dahil olmak üzere daha fazla seçeneğe sahip Professional ve Enterprise katmanları sunar. Şirket, iki finansman turunda toplam 30 milyon dolar topladı ve çoğu İsrail'de bulunan 40 çalışanı var. Geifman'a göre, yakın gelecekte NLP uygulamalarına odaklanan daha fazla DeciNet yayınlanacak.