IBM'in sektör dönüşümü planı yapay zeka, 5G ve işbirliğinden nasıl yararlanıyor?

OctoML, üretime hazır modellerin en geniş bulut yelpazesinde, donanım cihazlarında ve makine öğrenimi hızlandırma motorlarında dağıtımını otomatikleştirmek için platformunun en son sürümünü duyuruyor.

Makine öğrenimi modellerinizi AWS, Azure ve Google Cloud'da veya uçta AMD, Arm, Intel ve Nvidia donanımlarında karşılaştırın ve dağıtın. Performansı artırın ve ONNX Runtime, TensorFlow, TensorFlow Lite ve TVM gibi açık kaynak çerçeveleri kullanın.

OctoML'nin teklifi kısaca budur. MLOps olarak da bilinen bir etki alanı olan yapay zeka uygulama dağıtımında günümüzün manzarasının temsili bir resmini çizdiğini düşünüyoruz. MLOps'u makine öğrenimi destekli uygulamalara devam eden geçişin önemli bir parçası olarak belirledik ve Mart 2021'de B Serisi finansman turu vesilesiyle OctoML'yi tanıttık.

Bugün, makine öğrenimi hızlandırma için açık kaynaklı Apache TVM çerçevesi etrafındaki konferans olan TVMcon 2021'de başlatılan OctoML'nin yeni sürümü bir dizi yeni özellik getiriyor. OctoML CEO'su ve Kurucu Ortağı Luis Ceze ile MLOps'un genel olarak ilerlemesinin bir temsilcisi olarak OctoML'nin ilerlemesini tartışmak için bir araya geldik.

Beklentileri aşmak

Bu tür ilerleme raporunda dikkat edilmesi gereken ilk şey, OctoML'nin Ceze tarafından Mart 2021'de belirlenen hedefleri aştığıdır. Ceze, o zamanlar şirketin hedeflerinin çalışan sayısını artırmak, uç noktalara genişlemek ve halihazırda desteklenen çıkarımın ötesinde makine öğrenimi modellerinin eğitimi için destek ekleme yolunda ilerleme kaydetmek olduğunu belirtti.

Bu hedeflerin tümü, yakın zamanda ZDNet'in kendi Tiernan Ray'i tarafından derinlemesine ele alınan makine öğrenimi modellerinin eğitimine verilen destekle bir dereceye kadar karşılandı. Ceze, OctoML'nin bu cephede iyi bir ilerleme kaydettiğini ve yol haritasının bunu 2022'de bir noktada OctoML platformunda yayınlamak olduğunu söyledi.

Hiçbir zaman bir hedef olarak listelenmeyen, ancak yine de gerçekleşen şey, başka bir finansman turuydu. Bu, Kasım 2021'de gerçekleşti ve OctoML, C Serisi turunda 85 milyon dolar aldı. Ceze'nin belirttiği gibi, bu zamanın bir işareti. Son zamanlarda AI alanında hiç bitmeyen gibi görünen finansman turlarının sayısını kelimenin tam anlamıyla kaybettik. Ceze, OctoML'nin daha fazla para toplamak istememesine rağmen, bunun daha hızlı büyümelerine yardımcı olacağına karar verdiklerini söyledi.

Ve büyüdüler. OctoML, işe alım açısından hedeflerini aştı, şu anda 100'ün üzerinde çalışan sayısına sahip ve büyümeye devam ediyor. OctoML'nin aradığı makine öğrenimi ve donanım uzmanlığı kombinasyonunu bulmanın zor olduğu göz önüne alındığında, bu dikkate değerdir. Bakalım OctoML başka neler başarmış ve bugün hangi yeni özellikleri duyurmuş.

İlk olarak, dağıtım hedefleri seçimini Microsoft Azure hedef desteğini içerecek şekilde genişletti. OctoML artık AWS ve Google Cloud Platform dahil olmak üzere üç büyük bulutun tümünde seçenek sunuyor ve her bulutta hedef seçenekler olarak AMD ve Intel CPU'lar ve Nvidia GPU'lar sunuyor.

OctoML'nin vardiya büyümesi, genel olarak MLOps için bir vekil olarak görülebilir

İlginç bir şekilde, OctoML kısa süre önce Apple'ın M1 işlemcisiyle de bazı deneyler yayınladı. Ceze'ye bunun için destek gelip gelmediğini ve Blaize, Graphcore veya Samba Nova gibi gelecek vaat eden donanım satıcıları için desteğin de yol haritasında olup olmadığını sorduk.

Ceze, M1 tatbikatının amacının, OctoML'nin satıcıyla işbirliği içinde veya bağımsız olarak yapılıp yapılmadığına bakılmaksızın herhangi bir donanım hedefini kolayca dahil edebileceğini göstermek olduğunu söyledi. M1 veya başka herhangi bir donanım hedefi için destek, pazar odaklı olarak eklenecektir. Gelecek vaat eden satıcıların çoğu OctoML'nin farkında ve birçoğu şirkete kendileriyle çalışması veya bunu kendi başlarına yapması için ping atıyor.

OctoML'nin desteğini genişlettiği diğer cephe ise kenardır. OctoML artık 32 ve 64 bit işletim sistemleri kullanan Arm A-72 CPU'larla birlikte Nvidia, Jetson AGX, Xavier ve Jetson Xavier NX desteğine sahip. Ceze, bizim de belirttiğimiz şeyi doğruladı -- uç makine öğrenimi uygulamalarına olan talepte muazzam bir artış var.

Daha fazla hızlanma motoru, daha fazla seçenek

Yazılım tarafında OctoML, kullanıcıların eğitilen modellerini dönüştürme olmadan yükleyebilmeleri için ONNX, TensorFlow Lite ve çeşitli TensorFlow model paketleme biçimlerini içeren genişletilmiş model biçimi desteğini duyuruyor. Ama hepsi bu kadar değil.

Buna ek olarak, ilgili yeni hızlandırma motorları - ONNX Runtime, TensorFlow ve TensorFlow Lite - artık OctoML'nin "yerel" TVM desteğine ek olarak destekleniyor. Ceze, bu şekilde kullanıcıların karşılaştırıp karşılaştırabileceklerini ve hangisini kullanmak istediklerini seçebileceklerini söyledi.

Bu, daha önce açık kaynaklı Apache TVM projesi ile OctoML'nin teklifi arasında sıkı bir bağlantı olan şeyden bir sapmadır. Esasen OctoML, TVM'nin hizmet olarak yazılım sürümünü sundu. Artık OctoML, hızlanma motorları açısından ek seçenekler de sunuyor. Ceze, kullanıcıların artık iş akışlarının çok kapsamlı bir karşılaştırmasını yapma olanağına sahip olduğunu belirtti:

"Modeli yüklüyorsunuz ve ardından tek bir iş akışında istediğiniz donanım hedeflerini seçebiliyorsunuz, bu tüm bulutlara veya belirli uç hedeflere karşı olabilir. Ardından, optimizasyonu veya ayarlama paketleme karşılaştırmasını yapıyoruz ve bulutta veya uç cihazlarınızda nasıl konuşlandıracağınız konusunda karar vermenize yardımcı olmak için bu kapsamlı verileri sağlıyoruz" dedi.

Buna ek olarak, OctoML şimdi "önceden hızlandırılmış bir Model Hayvanat Bahçesi" olarak adlandırdıkları şeyle birlikte geliyor. Başka bir deyişle, Resnet, YOLO, Mobilenet, Inception ve diğerlerini içeren bir Bilgisayarla Görme (Nesne Sınıflandırma ve Görüntü Algılama) setinin yanı sıra BERT, GPT-2 ve daha fazlasını içeren bir Doğal Dil İşleme (NLP) seti içeren bir makine öğrenimi modelleri koleksiyonu.

Apache TVM topluluğu söz konusu olduğunda Ceze, geçen yıla göre %50'lik bir büyüme olduğunu ve ivmenin yavaşlamadığını kaydetti. Ceze ayrıca Microsoft Watch For ve Woven Planet Holdings dahil olmak üzere OctoML'nin benimsenmesinin bazı ilginç kullanım durumlarından da bahsetti.

Sonuç olarak, OctoML'nin B Serisi'nden bu yana sadece 6 ay geçtiği düşünüldüğünde, büyüme dikkat çekici oldu. Bunu, genel olarak MLOps'taki büyümenin bir örneği olarak görüyoruz ve bunun öngörülebilir gelecekte bu yörüngede devam etmesini bekliyoruz.