LangChain, GenAI'yi gerçekten kullanışlı bir asistana nasıl dönüştürüyor?

Yapay zeka aracılarının çağı, gerçek görevler için iş akışına olanak tanıyan basit modüllerin bir araya getirilmesiyle başlayabilir. Kanser tanısı sadece bir örnektir.

LangChain'i kullanan programcılar, meme kanseri teşhisi gibi şeyler için ultrason görüntülemeyi ChatGPT tarzı doğal dil istemiyle birleştirmeyi başardılar.

OpenAI'nin ChatGPT ve türevlerinin üretken yapay zeka hareketi, belki de en çok kötü rap şarkı sözleri ve otomatik programlama desteğiyle tanınır. Ancak büyük dil modellerine dayanan yeni bir açık kaynak çerçevesi, GenAI'ya daha pratik bir odaklanma sağlıyor.

Bir yıldan biraz daha eski olan LangChain, GenAI modellerinin üzerinde çalışan çok basit bir kütüphane seti aracılığıyla AI aracılarını programlamaya yumuşak bir giriş olarak düşünebilirsiniz. Teknoloji, LangChain ile oluşturulan uygulamaların ticari dağıtımı için bir sunucu platformu sunan, aynı adı taşıyan girişim destekli bir girişim tarafından destekleniyor.

LangChain'in özü, geniş bir dil modeli istemini çeşitli dış kaynaklarla birleştirmesidir. Bu şekilde, örneğin bir veritabanından veri alabilir ve dil modeli çıktısını bir uygulamaya iletebilir, o uygulamanın çıktısını alıp dil modeline geri iletebilir ve bu şekilde devam edebilir.

Böylece çerçeve, her kaynağın bir tür aracı haline geldiği, sorunun bir parçasını dil modeli ve bilgi istemi bağlamında ele aldığı, kaynakların bir arada zincirlenmesine olanak tanır.

Zaten farklı disiplinlerden ilgi çekici pratik kullanım örnekleri var.

Örneğin, programcılar LangChain'i kullanarak meme kanseri teşhisi gibi şeyler için ultrason görüntülemeyi ChatGPT tarzı doğal dil istemiyle birleştirebildiler. Bir radyolog, göğüs ultrasonu görüntüsünde "Lütfen bana sondanın konumuna bağlı olarak verilen gözlemlerin bir özetini verin" gibi bir ifadeyle bilgisayarı analitik asistan olarak çağırabilir.

Kore İleri Bilim ve Teknoloji Enstitüsü'nden Jaeyoung Huh ve meslektaşları tarafından oluşturulan programın ilginç bir yönü, yaygın olarak kullanılan, klasik görme sinir ağı olan ResNet-50 türünden üç farklı sinir ağını bir araya getirmesidir. görüntü sınıflandırmada üstün olan ağ.

Üç sinir ağının her biri, ultrason görüntüsündeki şüpheli bir formu tanımlamak, bu formu sınıflandırmak ve formun vücuttaki konumunu seçmek gibi bir görevi gerçekleştirmek üzere ayrı ayrı eğitiliyor.

LangChain'in amacı, bu üç ağı "verilen görüntü için bana bir araştırma bilgisi ver" ve ardından "bana verilen gözlemlerin bir özetini ver" gibi doğal dil komutları içine sarmaktır.

O halde en basit düzeyde, LangChain, sözlü komutlara yanıt verecek bir doktor asistanı yaratmaya çalışan tıbbi yapay zeka gibi alanlardaki uzmanların uzun süredir hayalini kurduğu türden, yapay zeka için kullanıcı dostu bir ön uç oluşturmanın bir yolu olabilir. .

LangChain'in bazı çabalarının amacı, teknolojiyi güvenilir dış kaynaklara dayandırarak GenAI'nin kötü şöhretli halüsinasyonlarını (programların güvenle yanlış bilgi iddia etme eğilimi) ortadan kaldırmaya çalışmaktır. Danışmanlık firması Accenture'da Sohini Roychowdhury liderliğindeki bir grup, bir "finans sohbet robotu" aracılığıyla finansal tahminler yapmaya yönelik bir sistem anlatıyor.

Sistem, hücreleri bir elektronik tablodan alır ve bunları verilerle ilgili doğal dildeki ifadelere dönüştürür; daha sonra bunlar, bir soruyla eşleşen bir cümle bulmak için aranabilir.

Şu şekilde çalışır: Bir kullanıcı, "Satışlarım nasıl gidiyor?" gibi doğal dildeki bir soruyla dil modelini yönlendirir. Bilgi istemi, dil modeline daha kesin bir bilgi istemi oluşturan bir şablona beslenir. Bu ipucu, daha iyi bir ipucu oluşturmak için kişinin düşünebileceğinden daha fazla ayrıntılı soru sözcüğü içerebilir.

Geliştirilmiş bilgi istemi, bir anahtar kelime aramasını tetikler ve bu arama, tablo halindeki verilerden oluşturulan cümlelerden hangilerinin tablodaki en alakalı verilere (ör. satışlar, kâr) işaret ettiğini seçer.

İlgili veriler alındıktan sonra, ikinci bir şablon seti, sohbet robotunun, bir sohbet yanıtındaki tablo halindeki verilerdeki cümleleri kullanarak sorguya bir yanıt oluşturmasına yardımcı olur.

Roychowdhury ve ekibi halüsinasyonları ortadan kaldırmayı başaramıyor. Bunun yerine, sohbet robotunun yanıtlarını soruya göre kontrol ettiği, bunların ne kadar iyi eşleştiğini gördüğü ve ardından yanıtı için yüksek, orta veya düşük bir güven puanı atadığı bir "güven" puanlama mekanizması tasarladılar.

Roychowdhury, "Güven puanı, kullanıcıya orta ila düşük düzeyde güven yanıtları kullanarak önemli kararlar verirken dikkatli olmasını söyler" diye açıklıyor. "Güven puanı ayrıca hangi kullanıcı sorgularının güvenilirlik açısından daha da iyileştirilmesi gerektiğinin belirlenmesine yardımcı oluyor."

Programcılar LangChain'in bazı son derece sıradan görevleri otomatikleştirmenin bir yolu olabileceğini keşfediyorlar. Bir örnek, çalışanların yasa dışı Web sitelerine göz atmadıklarından emin olmak için Web kullanımını kontrol etmektir. Bir şirket için "kabul edilebilir kullanım politikasını" açıklayan bir belge, vektör veritabanı adı verilen bir şeye yüklenir; bu, örneğin bir URL'deki metin dizelerini, bir belgedeki metin dizeleri koleksiyonuyla karşılaştırabilen özel bir tür veritabanıdır. bir maç.

Bir kişi tarayıcıya bir URL yazdığında, hem sitenin URL'si hem de site içeriğinin özeti, site içeriğinin herhangi bir yasak konu ile eşleşip eşleşmediğini görmek için otomatik olarak vektör veritabanındaki politika belgesiyle karşılaştırılabilir. Programcı, "Bu sitede yasaklanmış öğelerle eşleşen herhangi bir şey var mı?" diye soran basit bir metin istemiyle karşılaştırmayı otomatikleştirebilir.

Böyle bir örnek, büyük dil modellerinin ve LangChain'in bireylerin sorgularının ötesine geçtiğini açıkça ortaya koyuyor. Programcıların, perde arkası işlevler için ellerindeki çeşitli araçları entegre etmek amacıyla doğal dil komutlarını kullanmalarının bir yolu haline geliyorlar.

LangChain, aracı kalitesine sahip iş akışlarını derlemek için tek çerçeve değildir ve Microsoft'un Semantic Kernel'i ve LangChain'i temel alan açık kaynaklı LlamaIndex dahil olmak üzere bu türden daha fazla çerçeve oluşturulmaktadır.

Stanford, UC Berkeley ve Carnegie Mellon'dan bir grup akademisyen ve özel sektör işbirlikçileri Ekim ayında, elle kodlanmış doğal dil istemlerini işlevsel açıklamalarla değiştiren ve daha sonra otomatik olarak oluşturabilen bir programlama yaklaşımı olan DSPy adını verdikleri şeyi tanıttı. ister. İşlevsel açıklamalar, "soruları tüket ve yanıtları döndür" gibi çok geniş kapsamlı olabilir. DSPy, dil modellerinin ve destekleyici araçların akışını optimize etmek için bir derleyiciye sahiptir.

Yazarlar, DSPy çabasının, Torch ve Theano da dahil olmak üzere soyutlama katmanları yoluyla gelişmiş sinir ağlarına sahip derin öğrenme çerçevelerine benzer olduğunu belirtiyor.

Yazarlar, bir kişinin her durumda bir istemi manuel olarak oluşturmasına kıyasla kalitede çarpıcı gelişmeler olduğunu iddia ediyor. "El yapımı yönlendirmeler olmadan ve dakikalar ila on dakikalar süren derlemeler sonucunda, DSPy modüllerinin bileşimleri basit programların kalitesini %33'ten %82'ye yükseltebilir" diye yazıyorlar.

GenAI çerçeve oyununun çok erken günleri ve önümüzdeki yıl LangChain'in üstünde, altında ve çevresinde çok daha fazla soyutlama katmanı bekleyebilirsiniz.