Snowflake müşterileri, Nesil Yapay Zeka uygulamalarından erken kazanımlar elde ediyor

Gen AI'yi benimseyen kuruluşlar için otomasyonun maliyet tasarrufu ve anlamlı iş sonuçlarına ulaşma hızı gerçektir.

İşletmelerde yapay zeka (AI) ve özellikle de üretken yapay zeka türü (Gen AI) hakkındaki tartışmaların çoğu, geliştirilmekte olan proje sayısı veya otomasyonun öngörülen maliyet tasarrufu gibi istatistiklere odaklanıyor ve faydaları şu şekilde sıralanıyor: hala oldukça varsayımsal.

Bazı istatistikleri ve teoriyi özetlemek için, geçen hafta New York'ta veri ambarı satıcısı Snowflake'in düzenlediği bir akşam yemeğinde yaptığım gibi, Yapay Zeka Kuşağı kullanıcılarını dinlemek faydalı olabilir.

Şirket, önde gelen müşterilerini yapay zeka uygulamalarını üretime geçirme deneyimleri hakkında konuşmaya davet etti.

Genel izlenim, yapay zeka için, belge arama da dahil olmak üzere, uygulamadan sonraki altı ay veya daha kısa sürede fayda sağlamaya başlayabilecek anlamlı kullanım senaryolarının olduğu yönündeydi.

Konuşmalar anekdot niteliğindeydi ve Snowflake, bulut veri ambarı hizmetlerini tanıtmak için müşterilerinin en iyi senaryolarını desteklemekle ilgileniyor.

Bununla birlikte, bu uyarıyı akılda tutarak, her iki müşterinin düşünceli yorumları, şirketlerin üretimde yalnızca günler, haftalar veya aylar geçtikten sonra çok basit kullanım durumlarıyla bile yapay zekaya yönelerek değer yarattığını öne sürüyor.

Bulut tabanlı bir menkul kıymet alım satım platformu satan TS Imagine'in operasyon sorumlusu ve analitik başkanı Thomas Bodenski, insanların önemli, eyleme geçirilebilir bilgileri e-postalar aracılığıyla okumasını sağlamak için şirketinde geleneksel olarak 4.000 "adam saati" emek gerektiğini anlattı. olaylar.

Bodenski, "Her yıl 100.000 kez veri satın aldığımız birinden bana üç ay içinde değişiklik yapacağımızı söyleyen bir posta alıyorum" dedi. "Eğer buna hazır olmazsam 500 müşteri batacak", yani ticaret yapamayacaklar, dedi. "Bu yüzden gelen her e-postayı okumanız çok kritik."

Bodenski şöyle devam etti: "Bu e-posta geliyor, onu sınıflandırmam gerekiyor, anlamalıyım, onu farklı departmanlardaki doğru kişilere devretmeliyim, bunun üzerinde harekete geçmeliyim - bu görev bana yılda 4.000 saate mal oluyor "

TS Imagine'ın baş işletme sorumlusu Thomas Bodenski, "Sadece hesabı yapın" diyor.

Bu görev geleneksel olarak yönettiği "dünya çapında bir ekibin" rolü olmuştur. En az iki buçuk "tam zamanlı eşdeğer" birey var ve bunların akıllı insanlar olması gerekiyor" dedi.

Bodenski şunları söyledi: "Artık bunu, üretken bir yapay zeka uygulaması kullanarak bu işi yapacak kişilerin maliyetinin %3'üyle yapıyorum."

Bodenski, "Sadece matematiği yapın" dedi. "Ortalama maaşı alıyorsunuz ve Snowflake'e ne kadar harcadığınızı hesaplıyorsunuz, bu da maliyetin sadece %3'ü."

Bodenski, bu e-posta okuma programının TS Imagine'in Snowflake'in yardımıyla geliştirdiği ilk uygulama olduğunu söyledi. Meta Platforms'un açık kaynaklı Llama büyük dil modelleri ve Snowflake'in açık kaynaklı alternatifi Arctic kullanılarak oluşturulmuştur. Bu büyük dil modelleri, modelin harici bir veritabanından yararlandığı erişim artırılmış nesil (RAG) kullanır.

S&P Global Market Intelligence'den Daniel Sandberg, "Geri dönebileceğimi sanmıyorum" dedi.

Bodenski, uygulamanın "altı ay boyunca deneme yanılma yoluyla öğrenmeyi gerektirdiğini" söyledi. Bu süreç, TS Imagine'ın Snowflake ile ilişkisi olmadan önce başlamıştı.

Daha sonra Snowflake, Snowflake tarafından yönetilen yönetilen LLM çıkarım hizmeti Cortex AI'yi tanıttı, "tüm RAG hattını dört gün içinde taşıdık ve artık farklı bir hikayeyi kavramsallaştırabiliyoruz."

Cortex AI hizmeti, Bodenski'nin gelen müşteri e-postalarını hassasiyet, aciliyet ve diğer parametreler açısından sınıflandırmasına olanak tanıdı; bu daha önce mümkün olmayan bir şeydi "çünkü biliyorsunuz, her ay gelen 5.000 müşteri e-postasının tamamını okumuyorum, "dedi.

Bodenski, sınıflandırmayla birlikte sonucun "Çalı yangınını yangına dönüşmeden tespit ediyorum" olduğunu, bunun da bir müşteri kazası anlamına geldiğini söyledi. "Güvenilir, hiçbir sorunum yok, tek bir e-postayı bile kaçırmıyorum."

Bodenski, TS Imagine'in şu anda Gen AI'yı kullanan altı uygulaması olduğunu ve çalıştığını söyledi: "Ve ben çok daha fazlasını yapacağım. AI beynimizi geliştirmeye devam edecek" dedi: "İşe yarıyor."

Akşam yemeğine konuk olan firmanın "kuantumsal araştırma" başkanı Daniel Sandberg'e göre Snowflake müşterisi S&P Global Market Intelligence da benzer bir deneyim yaşadı.

Sandberg'in şirketi, Microsoft Office uygulamalarına ek olarak Spark Assist adlı şirket içi bir uygulamayı hayata geçirdi. Artık firma e-posta özetlerini otomatik olarak oluşturabiliyor.

"Yapay zeka kuşağı, hangilerinin acil ilgimi gerektirenler ile önceliklerinin kaldırılması gerekenlerin hangisinin en alakalı olduğunu bilecek kadar akıllı ve ben de yalnızca (yapay zeka modeline) şunu söylüyorum: 'Devam edin ve bunlara bir yanıt yazın' ' ve sonra onları yerinde kontrol ediyorum."

Sandberg, uygulamanın S&P Global'de 14.000 çalışan tarafından kullanıldığını söyledi. E-postaları manuel olarak sıralama ve elemeye çalışmanın eski yöntemine atıfta bulunarak, "Geri dönebileceğimi sanmıyorum" dedi.

Ancak bu tür uygulamalara yapılan yatırımın getirisi, uygulama geliştirme maliyetini ve çıkarım maliyetini haklı çıkarır mı? Sandberg, "Rüzgâra karşı evet diyebilirim" dedi ancak şunu da ekledi: "Sanırım hâlâ bu şeylerin çoğunu ölçüyoruz."

Sandberg şöyle devam etti: "Soru, toplu olarak, bu getiri neye benziyor? Bu TBD. Ancak bireysel durumlarda elbette; derlenmesi günler veya daha uzun süren şeyler artık bir gün içinde yapılabilir [Gen AI kullanılarak] "

Gen AI'yi, çevirmeli bağlantı hızlarının ortalama kullanıcı için getiriyi engellediği internetin ilk günleriyle karşılaştırdı.

"Burada oturup çevirmeli modem aracılığıyla internete bağlanmak için 15 dakika beklemek zorunda kalsak, buna gerçekten değer mi?" Sandberg belirtti.

"Fakat şu anda bulunduğumuz yer burası değil" dedi. "Beş yıl içinde olacağımız yer orası; sanırım bu şeylerin çoğu çözülecek."

Snowflake'in AI başkanı Barış Gültekin de akşam yemeğindeydi ve Gen AI'nın bazı görevleri otomatikleştirmek için halihazırda daha iyi ekonomi sunabileceğini söyledi.

"Cortex Analyst, birinin soru sormasına, verilerden anında yanıt almasına olanak tanıyan bir üründür" diye açıkladı.

"1.000 soru için şu anki fiyatlandırma 200 dolar, yani soru başına 20 sent. Aksi takdirde bu, bir [insan] analisti tarafından yanıtlanması gereken bir sorudur. Her biri için SQL [veritabanı] sorgusunu yazarlardı. Yani, 1.000 SQL sorgusunun, diyelim ki, 10 dakika sürdüğünü düşünün. Yatırım getirisini görebilirsiniz: soru başına 10 dakika, 1.000 soru. 200 dolar."

Snowflake'in yapay zeka başkanı Barış Gültekin, Snowflake'in Cortex ürününün halihazırda maliyet tasarrufu sağladığını söyledi.

Akşam yemeğine konuk olan Snowflake'in dünya çapındaki satış mühendisliğinden sorumlu başkan yardımcısı Chris Child, elbette, burada yirmi sent ve orada yirmi sent toplanabilir, dedi. İşletmeler için önemli olanın, çıkarımlar başladıkça maliyetlerin nasıl artacağını tahmin edebilmeleri olduğunu söyledi.

Child, "Çoğu durumda insanlar bir bütçe ayırdı" dedi. "Büyük şeyler düşünüyorlar ve bu daha çok 'Birkaç ay boyunca bana ne kadara mal olacağını nasıl anlarım ve bundan daha yüksek bir trende girdiğini nasıl anlarım?' ile ilgili."

Önerisi: "Deneyin, bir kez çalıştırın, görün ve ardından bunu geniş ölçekte yapmak için neye ihtiyacınız olacağını tahmin edin."

Child şöyle devam etti: "Bir hipotezi test etmenin maliyeti yüksektir", buna karşın "İlk test senaryosunu yürütmek için 1000 dolar harcayacaksam, bu yine de pahalıdır, ancak aynı hipotezi test etmek için insanları kullanmaktan önemli ölçüde daha ucuzdur".

Chris Child: "Deneyin, bir kez çalıştırın, görün ve ardından bunu geniş ölçekte yapmak için neye ihtiyacınız olacağını tahmin edin."

S&P Global, müşterileri için Snowflake'i kullanan bir uygulama oluşturduğunda, araç, yatırım yapılabilir ABD şirketleri endeksi olan Russell 3000'deki şirketler tarafından toplam 120.000 belge üzerinden 10 yıl boyunca yayınlanan 12.000 geçmiş üç aylık mali başvuruyu sıralamayı amaçladı.

Sandberg, "Platforma çıktığımızda yaptığımız ilk şey, koşmaya başlamadan önce maliyeti hesaplamamıza yardımcı olacak bir senaryo yazmaktı ve bunu başardık" dedi.

Snowflake'in geleneksel yazılım kullanım lisansı yerine müşterilere kullanılan toplam fiili süreye göre faturalandırma uygulamasına atıfta bulunarak "Tüketime dayalı modeli seviyorum" dedi, "çünkü fiyatlandırmada şeffaflık var, çünkü bana göre adalet var her yönüyle."

TS Imagine'den Bodenski, Cortex'te çıkarım çalıştırmanın fiyatlandırılmasındaki esnekliğin kendi ihtiyaçları için işe yaradığını söyledi.

"Her komut için üç dakika beklemenin uygun olmadığı bir süreci yürütebilirim, ancak aynı zamanda üç dakika beklemenin uygun olmadığı bir süreci de yürütebilirim, bunu beş saniye içinde istiyorum" diye açıkladı.

Bilgi işlem ölçeğine atıfta bulunarak "Ve bir şeyi ekstra küçükten orta seviyeye çıkararak anında karar veriyorum".

Bodenski, TS Imagine'in e-postaları taramak için kullandığı uygulamanın değerini kısa sürede gösterdiğini söyledi. "Etkisini aslında tasarladıktan dört gün sonra gördük" dedi, "çünkü odaklanmamız gereken öğeleri ortaya çıkardı ve müşteri hizmetleri kalitemizi artırdı."

Uygulama şu anda dört aydır üretimde. "Bu bizim için çok ama çok önemli" dedi. Bodenski, "Bu beni, dahil olmam gereken bir konuyu ya da bölge müdürüm, küresel başkanımı tespit etme konusunda yükseltiyor" dedi.

"Otomatik olarak çalışıyor, sonuçlar üretiyor, öğeleri yakalıyoruz", aksi takdirde e-postayla yanıt almak haftalar sürebilirdi, "ve bu süreci gerçekleştirmek için tek bir kişiyi işe almam veya tek bir kişiyi yeniden tahsis etmem gerekmedi. "