AI PC tam olarak nedir? Ve 2025'te bir tane satın almalı mısınız?
Kuruluşlar, yatırım getirisi nedeniyle makine öğrenimine yöneliyor. Bunu gerçek zamanlı olarak yapanlar listelerin zirvesinde yer alıyor.
Gerçek zamanlı makine öğrenimi uygulayan kuruluşların yatırım getirisinin arttığını gördüğü bildiriliyor
ABD, Avrupa ve Çin'deki büyük İnternet şirketlerindeki makine öğrenimi ve altyapı mühendisleriyle konuştuktan sonra iki grup şirket ortaya çıktı. Bir grup, gerçek zamanlı makine öğrenimine izin vermek için altyapıya yüz milyonlarca dolar yatırım yaptı ve yatırımlarının geri dönüşünü şimdiden gördü. Diğer grup hala gerçek zamanlı makine öğreniminin bir değeri olup olmadığını merak ediyor.
Yatırım getirisi hakkında rapor vermenin dikkat çekmenin iyi bir yolu olduğu gerçeği, Chip Huyen'de kaybolmuş gibi görünmüyor. Huyen, gerçek zamanlı makine öğrenimi altyapısı üzerinde çalışan bir yazar ve bilgisayar bilimcisidir. Kendisinin ve meslektaşlarının biriktirdiği artan deneyimi kristalize etmek için gerçek zamanlı makine öğrenimi hakkındaki bulgularına yukarıdaki girişi yazan kişidir.
Huyen, kendi (gizli) girişimini kurmadan önce Netflix, Nvidia, Primer ve Snorkel AI gibi şirketlerle çalıştı. Stanford mezunudur ve burada Makine Öğrenimi Sistemleri Tasarımı dersleri vermektedir ve 2019 ve 2020'de LinkedIn'in En İyi Sesi olmuştur.
Başka bir deyişle Huyen, ZDNet'e katkıda bulunan Tony Baer'in veri 2022 görünümünde "operasyonel sistemler ve analitik için uzun süredir anlaşılması zor bir hedef" olarak tanımladığı şeyi raporlamak için çok iyi bir konumda: hareket halindeki verileri (akış) durağan verilerle (bir veritabanında veya veri gölünde bulunan veriler) birleştirmek. Bunu yapmanın nihai amacı, Huyen'in bildirdiği türden bir yatırım getirisi elde etmek olacaktır.
Gerçek zamanlı makine öğrenimi tahminleri ve sistem güncellemeleri
Huyen'in analizi, 2 düzeyde gerçek zamanlı makine öğrenimi modellerine ve sistemlerine atıfta bulunur. Seviye 1 çevrimiçi tahminlerdir: Gerçek zamanlı olarak tahminlerde bulunan makine öğrenimi sistemleri, bunun için gerçek zamanı milisaniyeler arasında olacak şekilde tanımlar. Seviye 2 sürekli öğrenmedir: Yeni verileri içeren ve gerçek zamanlı olarak güncellenen makine öğrenimi sistemleri, bunun için gerçek zamanlıyı dakikalar mertebesinde olarak tanımlar.
Seviye 1 sistemlerinin neden önemli olduğunun özü, Huyen'in dediği gibi, "makine öğrenimi modelleriniz ne kadar harika olursa olsun, tahminlerde bulunmak için sadece milisaniyeler kadar uzun sürerse, kullanıcıların başka bir şeye tıklamasıdır". Detaylandırdığı gibi, hızlı tahminler için bir "çözümsüzlük", bunları toplu olarak çevrimdışı hale getirmek, depolamak ve gerektiğinde çekmektir.
Bu, giriş alanı sınırlı olduğunda işe yarayabilir - tam olarak kaç tane olası girdi için tahminde bulunacağınızı bilirsiniz. Bir örnek, kullanıcılarınız için film önerileri oluşturmanız gerektiğinde -- tam olarak kaç kullanıcı olduğunu biliyorsunuz. Bu nedenle, her kullanıcı için birkaç saatte bir gibi düzenli aralıklarla bir dizi öneri tahmin edersiniz.
Huyen, kullanıcı giriş alanlarını sınırlı hale getirmek için birçok uygulamanın, kullanıcılarının açık uçlu sorgular girmek yerine kategoriler arasından seçim yapmasını sağladığını belirtiyor. Daha sonra, bu yaklaşımın TripAdvisor ve Netflix gibi şirketlerden kullanıcı deneyimine zarar verebilecek sonuçlar üretebileceğine dair örnekler göstermeye devam ediyor.
Kullanıcı katılımı/elde tutma ile sıkı bir şekilde bağlı olmasına rağmen, bu feci bir başarısızlık değildir. Kötü sonuçlar, dolandırıcılık tespitinin otonom araçları gibi diğer alanlarda felaket olabilir. Toplu tahminlerden çevrimiçi tahminlere geçiş, daha alakalı tahminler yapmak için dinamik özelliklerin kullanılmasını sağlar.
Huyen, makine öğrenimi sistemlerinin bunu yapabilmek için iki bileşene sahip olması gerektiğini belirtiyor. Hızlı çıkarımlara, yani milisaniyeler mertebesinde tahminlerde bulunabilen modellere ihtiyaçları var. Ayrıca gerçek zamanlı işlem hatlarına, yani verileri işleyebilen, modellere girebilen ve gerçek zamanlı olarak bir tahmin döndürebilen işlem hatlarına ihtiyaçları vardır.
Huyen, daha hızlı çıkarım elde etmek için modellerin daha hızlı yapılabileceğini, daha küçük hale getirilebileceğini veya donanımın daha hızlı yapılabileceğini eklemeye devam ediyor. Bu sütunda ele aldığımız çıkarım, TinyML ve AI çiplerine odaklanma bununla mükemmel bir şekilde uyumludur ve doğal olarak bu yaklaşımlar da birbirini dışlamaz.
Huyen ayrıca, yayın temelleri ve çerçeveleri üzerine bir analize girişti ve bu, en başından beri bu sütunda geniş yer bulan bir şey. Birçok şirket toplu işlemeden akış işlemeye, istek odaklı mimariden olay odaklı mimariye geçiyor ve bu, Apache Kafka ve Apache Flink gibi çerçevelerin popülaritesine bağlı. Huyen, bu değişimin ABD'de hala yavaş olduğunu, ancak Çin'de çok daha hızlı olduğunu belirtiyor.
Ancak, akışın daha popüler olmamasının birçok nedeni vardır. Şirketler faydaları görmüyor; gerekli altyapıya zihinsel bir değişim ve yüksek ilk yatırım var, işlem maliyeti daha yüksek ve Apache Beam aracılığıyla boşluğu doldurma çabalarına rağmen bu çerçeveler Python'a özgü değil.
Huyen, gerçek zamanlı olarak güncellenen modellere dayalı makine öğrenimi sistemleri için "çevrimiçi eğitim" veya "çevrimiçi öğrenme" yerine "sürekli öğrenme" terimini tercih ediyor. İnsanlar çevrimiçi eğitimi veya çevrimiçi öğrenmeyi duyduklarında, bir modelin gelen her veri noktasından öğrenmesi gerektiğini düşünürler.
Aslında çok az şirket bunu yapıyor çünkü bu yöntem yıkıcı bir unutmadan muzdariptir - sinir ağları yeni bilgiler öğrendikten sonra aniden daha önce öğrenilen bilgileri unutur. Ayrıca, bir öğrenme adımını yalnızca bir veri noktasında çalıştırmak, bir toplu iş üzerinde çalıştırmaktan daha pahalı olabilir.
Huyen, yukarıdaki analizi Aralık 2020'de yaptı. Ocak 2022'de konuyu tekrar gözden geçirdi. Ona göre, sürekli öğrenmenin ana akım olarak benimsenmesinden hala birkaç yıl uzakta olduğumuz yönünde, şirketlerin çevrimiçi çıkarıma doğru ilerlemek için önemli yatırımlar yaptığını görüyor. Çevrimiçi tahmine doğru evrimsel ilerlemenin taslağını çiziyor.
Çevrimiçi tahmine doğru
Aşama 1 toplu tahmindir. Bu aşamada, tüm tahminler toplu olarak önceden hesaplanır ve belirli bir aralıkta, örneğin her 4 saatte bir veya her gün oluşturulur. Toplu tahmin için tipik kullanım örnekleri, işbirliğine dayalı filtreleme, içerik tabanlı önerilerdir. Toplu tahmin kullanan şirketlere örnek olarak DoorDash'in restoran önerileri, Reddit'in alt dizin önerileri veya Netflix'in 2021 dolaylarındaki önerileri verilebilir.
Huyen, Netflix'in şu anda makine öğrenimi tahminlerini çevrimiçi ortama taşıdığını belirtiyor. Bunun bir nedeni, yeni olan veya oturum açmamış kullanıcılar için, kendileri için kişiselleştirilmiş önceden hesaplanmış öneriler olmaması olduğunu eklemeye devam ediyor. Bir sonraki öneri grubu oluşturulduğunda, bu ziyaretçiler kendileriyle alakalı hiçbir şey bulamadıkları için bir satın alma işlemi yapmadan ayrılmış olabilirler.
Huyen, toplu iş tahmininin baskınlığını Hadoop gibi eski toplu iş sistemlerine bağlıyor. Bu sistemler, büyük miktarda verinin çok verimli bir şekilde periyodik olarak işlenmesini sağladı, bu nedenle şirketler makine öğrenimi ile başladıklarında, tahminlerde bulunmak için mevcut toplu sistemlerinden yararlandılar.
Aşama 2, toplu özelliklere sahip çevrimiçi tahmindir. Makine öğrenimindeki özellikler, bir model oluşturmak için kullanılan bir olgunun bireysel ölçülebilir özellikleri veya özellikleridir. Toplu iş özellikleri, genellikle toplu işleme ile geçmiş verilerden ayıklanan özelliklerdir ve statik özellikler veya geçmiş özellikler olarak da adlandırılır.
Bu aşamadaki kuruluşlar, istekler gelmeden önce tahminler oluşturmak yerine, istekler geldikten sonra tahminler oluşturur. Kullanıcıların uygulamalarındaki etkinliklerini gerçek zamanlı olarak toplarlar. Ancak, bu olaylar yalnızca oturum eklemeleri oluşturmak üzere önceden hesaplanmış eklemeleri aramak için kullanılır.
Burada Huyen, makine öğrenimine yerleştirmeleri ifade eder. Gömmeler, vektörleri temsil etmenin bir yolu olarak düşünülebilir, bu da makine öğrenimi modellerinin gerçek dünyayla ilgili bilgileri temsil etmek için çalıştığı şeydir.
Aşama 2 sistemleri hakkında hatırlanması gereken en önemli şey, önceden hesaplanmış yerleştirmelerde bilgi aramak için kullanıcı eylemlerinden gelen verileri kullanmalarıdır. Makine öğrenimi modellerinin kendileri güncellenmez; sadece gerçek zamanlı olarak sonuç üretiyorlar.
Çevrimiçi bir tahmin makine öğrenimi sisteminin mimarisi
Huyen'e göre oturum tabanlı tahminlerin amacı, dönüşümü (örneğin, ilk kez gelen ziyaretçileri yeni kullanıcılara veya tıklama oranlarına dönüştürme) ve elde tutmayı artırmaktır. Netflix, YouTube, Roblox, Coveo vb. dahil olmak üzere halihazırda çevrimiçi çıkarım yapan veya 2022 yol haritaları hakkında çevrimiçi çıkarım yapan şirketlerin listesi büyüyor.
Huyen, kendisiyle konuşan çevrimiçi bir çıkarıma geçen her bir şirketin, metrik kazançlarından çok memnun olduklarını söylediğini belirtiyor. Önümüzdeki iki yıl içinde çoğu öneri sisteminin oturum tabanlı olmasını bekliyor: her tıklama, her görüntüleme, her işlem neredeyse gerçek zamanlı olarak yeni, alakalı öneriler oluşturmak için kullanılacak.
Kuruluşların bu aşama için modellerini toplu tahminden oturum tabanlı tahminlere güncellemeleri gerekecektir. Bu, yeni modeller eklemeleri gerekebileceği anlamına gelir. Kuruluşların ayrıca oturum verilerini tahmin hizmetlerine entegre etmeleri gerekecektir. Huyen, bunun genellikle iki bileşenden oluşan akış altyapısıyla yapılabileceğini yazıyor.
İlk bölüm, akış verilerini (kullanıcıların etkinlikleri) taşımak için Kafka, AWS Kinesis veya GCP Dataflow gibi bir akış aktarımıdır. İkinci bölüm, akış verilerini işlemek için Flink SQL, KSQL veya Spark Streaming gibi bir akış hesaplama altyapısıdır.
Birçok kişi, çevrimiçi tahminin hem maliyet hem de performans açısından toplu tahminden daha az verimli olduğuna inanır çünkü tahminleri toplu olarak işlemek, tahminleri tek tek işlemekten daha verimlidir. Huyen bunun mutlaka doğru olmadığına inanıyor.
Bunun bir nedeni, çevrimiçi tahmine sahip bir siteyi ziyaret etmeyen kullanıcılar için tahmin oluşturmaya gerek olmamasıdır. Toplam kullanıcıların yalnızca %2'si günlük olarak oturum açıyorsa ve her kullanıcı için her gün tahminler oluşturuluyorsa, bu tahminlerin %98'ini oluşturmak için kullanılan işlem boşa harcanacaktır. Bu aşamanın zorlukları, çıkarım gecikmesi, akış altyapısının kurulması ve yüksek kaliteli yerleştirmelere sahip olması olacaktır.
Karmaşık akış ve toplu iş özellikleri ile çevrimiçi tahmin
Huyen'in evrimsel ölçeğindeki Aşama 3, karmaşık akış ve toplu iş özelliklerine sahip çevrimiçi bir tahmindir. Akış özellikleri, genellikle dinamik özellikler veya çevrimiçi özellikler olarak da adlandırılan akış işleme ile akış verilerinden çıkarılan özelliklerdir.
Aşama 2'deki şirketler biraz akış işlemeye ihtiyaç duyuyorsa, Aşama 3'teki şirketler çok daha fazla akış özelliği kullanır. Örneğin, bir kullanıcı Doordash'te sipariş verdikten sonra, teslimat süresini tahmin etmek için hem toplu iş özelliklerine hem de akış özelliklerine ihtiyaç duyabilir.
Toplu özellikler, bu restoranın geçmişteki ortalama hazırlık süresini içerebilirken, şu andaki akış özellikleri, kaç tane başka siparişleri olduğunu ve kaç teslimat görevlisinin mevcut olduğunu içerebilir.
2. Aşama'da ele alınan oturum tabanlı öneri söz konusu olduğunda, oturum ekleme oluşturmak için yalnızca öğe eklemelerini kullanmak yerine, kullanıcının sitede geçirdiği süre veya bir öğenin son 24 saat içinde gerçekleştirdiği satın alma sayısı gibi akış özellikleri kullanılabilir.
Bu aşamadaki şirketlere örnek olarak dolandırıcılık tespiti, kredi puanlaması, sürüş ve teslimat tahmini ve öneriler gibi kullanım durumları için Stripe, Uber, Faire verilebilir.
Her tahmin için yayın özelliklerinin sayısı yüzlerce, hatta binlerce olabilir. Akış özelliği ayıklama mantığı, farklı boyutlar boyunca birleştirme ve toplama ile karmaşık sorgular gerektirebilir. Bu özellikleri ayıklamak için verimli akış işleme altyapıları gerekir.
Huyen'e göre makine öğrenimi iş akışlarını bu aşamaya taşımak için bazı önemli gereksinimler var. Birincisi, tüm akış özelliklerini kabul edilebilir gecikme süresiyle hesaplayabilen verimli bir akış işleme motoruna sahip olgun bir akış altyapısıdır. İkincisi, gerçekleştirilmiş özellikleri yönetmeye ve eğitim ve tahmin sırasında akış özelliklerinin tutarlılığını sağlamaya yönelik bir özellik deposudur.
Üçüncüsü ise maket mağazası. Bir akış özelliği oluşturulduktan sonra doğrulanması gerekir. Huyen, yeni bir özelliğin modelinizin performansına gerçekten yardımcı olduğundan emin olmak için, onu verimli bir şekilde yeni bir model oluşturan bir modele eklemek istediğinizi söylüyor. İdeal olarak, bir model mağazasının yeni akış özellikleriyle oluşturulan modellerin yönetilmesine ve değerlendirilmesine yardımcı olması gerektiğini, ancak modelleri de değerlendiren model mağazalarının henüz mevcut olmadığını belirtiyor.
Son olarak, daha iyi bir geliştirme ortamı. Veri bilimcileri şu anda akış özellikleri oluştururken bile geçmiş veriler üzerinde çalışıyor ve bu da yeni akış özelliklerinin bulunmasını ve doğrulanmasını zorlaştırıyor.
Huyen, veri bilimcilerine yeni akış özelliklerini hızlı bir şekilde deneyip doğrulayabilmeleri için veri akışlarına doğrudan erişim sağlayabilirsek ne olur, diye soruyor. Veri bilimcilerinin yalnızca geçmiş verilere erişimi olması yerine, not defterlerinden gelen veri akışlarına da erişebilseler ne olur?
Bu aslında bugün, örneğin Flink ve Kafka not defteri entegrasyonları ile mümkün gibi görünüyor. Bunların Huyen'in tasavvur ettiği şeyi karşılayıp karşılamadığından emin olmasak da, burada büyük resmi görmek önemlidir.
Bu karmaşık bir konu ve Huyen, teknolojik olarak en gelişmiş kuruluşlardan bazılarıyla olan deneyimlerine dayanarak bir yol çiziyor. Ve Seviye 2'ye bile değinmedik -- yeni verileri birleştiren ve gerçek zamanlı olarak güncelleyen makine öğrenimi sistemleri.
Bununla birlikte, tam bir döngüye girmek için, Huyen'in deneyimi devam edecek bir şeyse, kazançlar yatırımı haklı çıkarabilir.