RAG sayesinde GenAI tıbbi sorularda nasıl çok daha iyi hale geldi?

Pratisyen doktorlar tarafından derlenen yeni bir dizi soruyu kullanan Stanford yapımı Almanak, sade vanilyalı ChatGPT-4'ten, Microsoft'un Bing'inden ve Google'ın Bard'ından daha iyi performans gösterdi.

Stanford'daki bilim insanları, Almanak adı verilen ve Yapay Zeka kuşağının istemine yanıt olarak tıbbi bilgileri gerçek zamanlı olarak alacak bir sistem kurdular ve bu sistemin doktorlar tarafından yazılan tıbbi sorulara daha iyi yanıtlar verdiğini buldular.

Bu yıl, üretken yapay zekayı kullanan birçok tarafın programlara bilgiye benzer bir şey vermeye çalışacağı yıl. Bunu çoğunlukla "geri almayla artırılmış nesil" veya RAG adı verilen hızla genişleyen bir çaba kullanarak yapacaklar; bu sayede büyük dil modelleri (LLM'ler), sinir ağının kendi üzerinde yapabileceklerini güçlendirmek için - çıktılarını oluştururken - dışarıdan girdi ararlar. sahip olmak.

Örneğin, Stanford Üniversitesi ve işbirlikçilerinin prestijli New England Journal of Medicine tarafından yayınlanan yeni bir dergi olan NEJM AI'de bu hafta yayınlanan bir raporuna göre RAG, yüksek lisans eğitimlerini tıbbi bilgi alanında daha iyi hale getirebilir.

Raporun başyazarı Cyril Zakka ve meslektaşları, kurul onaylı doktorlar tarafından yazılan yeni soruları yanıtlarken, GPT-4 ve diğer programların RAG ile geliştirilmiş sürümlerinin "standart Yüksek Lisans'lara kıyasla performansta önemli bir gelişme gösterdiğini" belirtti.

Yazarlar, RAG'ın, Gen AI'nın klinikte güvenli bir şekilde konuşlandırılmasında önemli bir unsur olduğunu savunuyor. Açıkça tıbbi bilgi için oluşturulan ve tıbbi veriler üzerine eğitim veren programların bile bu hedefe ulaşamadığını iddia ediyorlar.

Yazarlar, çeşitli tıbbi veri kümelerinden gelen soruları yanıtlayacak şekilde ayarlanmış bir LLM olan Google DeepMind'ın MedPaLM gibi programlarının hala halüsinasyonlardan muzdarip olduğunu yazıyor. Ayrıca yanıtları "klinik olarak ilgili görevleri doğru şekilde yansıtmıyor."

RAG önemlidir, çünkü bunun alternatifi, değişen tıbbi bilgilere ayak uydurmak için LLM'leri sürekli olarak yeniden eğitmektir; bu görevin, programların "milyar parametre boyutunda hızlı bir şekilde caydırıcı derecede pahalı hale gelebileceğini" ileri sürüyorlar.

Çalışma birkaç açıdan yeni çığır açıyor. İlk olarak, tıbbi bilgiye erişim konusunda Almanak adı verilen yeni bir yaklaşım oluşturuyor. Almanak programı, MDCalc adlı doktorlar tarafından derlenen 14 yıllık bir tıbbi referans veri tabanından meta verileri kullanarak tıbbi geçmiş verilerini alıyor.

İkincisi, Zakka ve meslektaşları ClinicalQA adı verilen ve "tedavi kılavuzlarından klinik hesaplamalara kadar çeşitli konuları içeren çeşitli tıbbi uzmanlıkları kapsayan" 314 tıbbi sorudan oluşan yepyeni bir dizi derlediler. Sorular, kurul onaylı sekiz doktor ve "günlük klinik görevlerinizle ilgili uzmanlık alanınızda mümkün olduğunca çok soru" yazmakla görevlendirilen iki klinisyen tarafından yazılmıştır.

Yeni bir dizi sorunun amacı, tıbbi veritabanları üzerinde eğitilen programların, bir testteki cevapları ezberlemek gibi, daha sonra MedQA gibi tıbbi testlerde ortaya çıkacak bilgi parçalarını kopyaladığı olgusunu önlemektir. Zakka ve ekibinin belirttiği gibi, "Model değerlendirmeye yönelik veri kümeleri, eğitim verilerinin içinde yer alabilir ve bu da modellerin aynı kriterleri kullanarak nesnel olarak değerlendirilmesini zorlaştırabilir."

Ekip, ClinicalQA sorularının tıp uzmanları tarafından yazılması nedeniyle daha gerçekçi olduğunu ileri sürüyor. "ABD Tıbbi Ruhsatlandırma Sınavı tarzı sorular, tıp profesyonellerinin karşılaştığı gerçek klinik senaryoların tüm kapsamını özetlemekte başarısız oluyor" diye yazıyorlar. "Genellikle hasta senaryolarını, gerçek hasta bakımını oluşturan karmaşık mikro kararlar dizisini atlayarak düzgün klinik öyküler olarak tasvir ediyorlar."

Çalışma, yapay zekada "sıfır atış" görevleri olarak bilinen, hiçbir değişiklik yapılmadan ve doğru ve yanlış cevap örnekleri olmadan bir dil modelinin kullanıldığı bir test sundu. Bu, "bağlam içi öğrenme" olarak adlandırılan şeyi, yani bir dil modelinin eğitim verilerinde bulunmayan yeni yetenekler kazanma yeteneğini test etmesi beklenen bir yaklaşımdır.

Almanac, OpenAI'nin GPT-4'ünü, MDCalc meta verilerindeki yönergelere dayanarak RAG işlemini gerçekleştirmek için Web tabanlı kaynaklara giden Tarayıcı adı verilen bir programa bağlayarak çalışır.

Tıbbi verilerde soruyla bir eşleşme bulunduğunda, Retriever adı verilen ikinci bir Almanak programı, sonucu GPT-4'e aktarır ve bu da onu sorunun doğal dilde yanıtına dönüştürür.

Almanac'ın GPT-4 kullanan yanıtları, temel olarak sade vanilyalı ChatGPT-4, Microsoft'un Bing'i ve Google'ın Bard'ından gelen yanıtlarla, bu programlarda hiçbir değişiklik yapılmadan karşılaştırıldı.

Tüm cevaplar, insan doktorlar tarafından gerçekçilik, tamlık, "tercih" (yani cevapların soruyla ilgili olarak ne kadar arzu edilir olduğu) ve programları iptal etmeye yönelik "düşmanca" girişimler açısından güvenlik açısından derecelendirilir. Saldırıya karşı direnci test etmek için yazarlar, programı "yanlış çıktılar üretmeye veya yapay önlemleri atlatmak için tasarlanmış daha gelişmiş senaryolar üretmeye" ikna etmek üzere tasarlanan soruların 25'ine yanıltıcı metin eklediler.

Çalışma notlarına göre, insan yargıçlar, herhangi bir programa karşı önyargılarını ifade etmelerini engellemek için hangi programın hangi yanıtı sunduğunu bilmiyordu.

Almanak'ın diğer üçünden daha iyi performans gösterdiğini ve gerçekçilik, bütünlük ve tercih konularında 100 üzerinden sırasıyla %67, %70 ve %70 ortalama puan aldığını belirtiyorlar. diğer üçü.

Programların aynı zamanda verilerin nereden alındığına dair bir alıntı da içermesi gerekiyordu ve sonuçlar aydınlatıcı oldu: Alamac %91 oranında doğru alıntılarla çok daha yüksek puan aldı. Diğer üçünün temel hataları var gibi görünüyordu.

Zakka ve ekibi, "Bing, kişisel bloglar ve çevrimiçi forumlar dahil olmak üzere güvenilmez kaynaklar nedeniyle %82'lik bir performans elde etti" diye yazıyor. "ChatGPT-4 alıntıları çoğunlukla var olmayan veya ilgisiz web sayfaları tarafından rahatsız edilse de, Bard ya kendi içsel bilgisine güvendi ya da istenmesine rağmen kaynaklardan alıntı yapmayı reddetti."

Düşmanca yönlendirmelere direnme konusunda Almanak'ın diğerlerinin "büyük ölçüde yerini aldığını", %100 doğru yanıt verdiğini, ancak bazen bunu yanıt vermeyi reddederek yaptığını buldular.

Yine kendine has özellikler vardı. Google'ın Bard'ı sıklıkla hem doğru yanıtı hem de düşmanca yönlendirmenin yol açtığı yanlış yanıtı veriyordu. ChatGPT-4 açık ara en kötüsüydü; çekişmeli ortamda soruların yalnızca %7'sini doğru yanıtladı; bunun temel nedeni tamamen kaçınmak yerine yanlış bilgilerle yanıt vermesiydi.

Yazarlar, Almanak'ı "optimize etmek" ve "ince ayar yapmak" için çok fazla çalışma olduğunu belirtiyorlar. Programın "bilgi kaynaklarını kanıt düzeyi, çalışma türü ve yayın tarihi gibi kriterlere göre etkili bir şekilde sıralama konusunda sınırlamaları vardır." Ayrıca, bir avuç insan yargıca güvenmenin ölçeklenemeyeceğini, dolayısıyla gelecekteki bir projenin değerlendirmeleri otomatikleştirmeyi amaçlaması gerektiğini belirtiyorlar.