OpenAI'nin AI transkripsiyon aracı aşırı derecede halüsinasyon görüyor - işte daha iyi bir alternatif

Bir araştırmacı Whisper'dan 'incelediği her 10 ses transkripsiyonunun sekizinde halüsinasyonlar buldu'.

2022'de piyasaya sürülen bir yapay zeka (AI) konuşma tanıma ve transkripsiyon aracı olan OpenAI Whisper'ın halüsinasyon gördüğü veya bir şeyler uydurduğu ortaya çıktı; o kadar ki uzmanlar, bunun yanlış bağlamda ciddi hasara neden olabileceğinden endişe ediyor.

Geçen hafta AP, Michigan Üniversitesi'ndeki bir araştırmacının halka açık toplantılar üzerine yaptığı bir çalışma sırasında Whisper tarafından üretilen "incelediği her 10 ses kaydından sekizinde halüsinasyon bulduğunu" bildirdi.

Veri noktası pek çok veri noktasından biri: Ayrı olarak, 100 saatlik Whisper transkripsiyonunu inceleyen bir mühendis AP'ye bunların kabaca %50'sinde halüsinasyon bulduğunu söylerken, başka bir geliştirici Whisper kullanarak oluşturduğu neredeyse her transkripsiyonda halüsinasyon keşfetti, bu da toplamda 26.000'dir. .

Kullanıcılar, AI transkripsiyoncularının her zaman orada burada bir kelimeyi veya yazım yanlışını yapmasını beklese de, araştırmacılar "hiçbir zaman Whisper kadar halüsinasyon gören başka bir AI destekli transkripsiyon aracı görmediklerini" belirtti.

OpenAI, açık kaynaklı bir sinir ağı olan Whisper'ın "İngilizce konuşma tanıma konusunda insan düzeyindeki sağlamlığa ve doğruluğa yaklaştığını" söylüyor. Röportajların yazıya geçirilmesi ve tercüme edilmesi ve video altyazılarının oluşturulması da dahil olmak üzere yaygın konuşma tanıma türleri için çeşitli endüstrilerde yaygın olarak entegre edilmiştir.

Bu düzeyde her yerde bulunabilme, uydurma metinleri, yanlış atıfta bulunulan ve icat edilen alıntıları ve diğer yanlış bilgileri, orijinal materyalin doğasına bağlı olarak önemi değişebilen çeşitli ortamlara hızla yayabilir. AP'ye göre Whisper, Oracle ve Microsoft'un çağrı merkezlerinde, sesli asistanlarda ve bulut platformlarında yerleşik olarak bulunan ChatGPT'nin bazı sürümlerine dahil edildi ve geçen ay HuggingFace'ten 4,2 milyondan fazla indirildi.

Uzmanlar AP'ye daha da endişe verici olanın, tıp uzmanlarının hasta-doktor görüşmelerini yazıya dökmek için giderek daha fazla "Fısıltı tabanlı araçlar" kullanması olduğunu söyledi. AP, Whisper'ın transkripsiyon metninde bazıları "ırkçı yorumlar, şiddet içeren söylemler ve hatta hayali tıbbi tedaviler içerebilen" ifadeler ve tam cümleler uydurduğunu doğrulayan 12'den fazla mühendis, araştırmacı ve geliştiriciyle röportaj yaptı.

İleri Araştırmalar Enstitüsü'nden profesör Alondra Nelson, "Kimse yanlış teşhis istemez" dedi.

OpenAI tıbbi kullanım örneklerini savunmamış olabilir - şirket "doğruluktaki kusurların sonuçlarda belirgin kusurlara yol açabileceği karar verme bağlamları gibi yüksek riskli alanlarda kullanılmamasını" tavsiye ediyor - ancak aracı piyasaya sürmek ve çığırtkanlık yapmak doğruluğu, olası risklere bakılmaksızın mümkün olan her yerde işleri hızlandırmaya ve verimlilik yaratmaya çalışan çeşitli endüstriler tarafından benimsenmesinin muhtemel olduğu anlamına gelir.

Sorun, daha uzun veya kötü kaydedilmiş sese de bağlı görünmüyor. AP'ye göre bilgisayar bilimciler yakın zamanda kısa ve net ses örneklerinde bazı halüsinasyonlar buldular. Araştırmacılar AP'ye bu eğilimin "milyonlarca kayıtta on binlerce hatalı transkripsiyona yol açacağını" söyledi.

AP'nin haberine göre "Sorunun tam boyutunu anlamak zor, ancak araştırmacılar ve mühendisler çalışmalarında Whisper'ın halüsinasyonlarına sıklıkla rastladıklarını söylediler." Ayrıca Gallaudet Üniversitesi Teknolojiye Erişim Programını yöneten ve sağır olan Christian Vogler'in de belirttiği gibi, sağır veya işitme güçlüğü çeken kişiler "tüm bu diğer metinlerin arasına gizlenmiş" halüsinasyonları yakalayamazlar.

Araştırmacıların bulguları, yapay zeka endüstrisinde daha geniş bir soruna işaret ediyor: Özellikle ABD'de henüz uygun yapay zeka düzenlemeleri yokken, araçlar kâr amacıyla pazara çok hızlı sunuluyor. Bu aynı zamanda OpenAI'nin kar amacı gütmeyen kuruluşa karşı devam eden tartışması ve liderliğin AI risklerini dikkate almayan son tahminleri dikkate alındığında da geçerlidir.

AP, "Bir OpenAI sözcüsü, şirketin sürekli olarak halüsinasyonları nasıl azaltacağını araştırdığını ve araştırmacıların bulgularını takdir ettiğini söyledi ve OpenAI'nin model güncellemelerine geri bildirimleri dahil ettiğini ekledi" diye yazdı.

OpenAI'nin sorunu çözmesini beklerken, altı yeni dil ekleyen, gazetecilerin güvendiği bir AI transkripsiyon aracı olan Otter.ai'yi denemenizi öneririz. Geçtiğimiz ay, uzun süreli bir Otter.ai kullanıcısı, platformdaki yeni yapay zeka özet özelliğinin bir istatistiği hayal ettiğini ancak bu hatanın transkripsiyonun kendisinde olmadığını belirtti. Özellikle yapay zekanın daha büyük bağlamları özetlemesi istendiğinde riskler artabileceğinden bu özelliğe güvenmemek akıllıca olabilir.

Otter.ai'nin transkripsiyonla ilgili kendi kılavuzunda halüsinasyonlardan bahsedilmiyor; yalnızca "doğruluk, arka plandaki gürültü, konuşmacının vurguları ve konuşmanın karmaşıklığı gibi faktörlere bağlı olarak değişiklik gösterebilir" ve kullanıcılara "güvenilir olmak için transkripsiyonları gözden geçirmeleri ve düzenlemeleri" tavsiyesinde bulunuluyor. özellikle kritik görevler veya önemli konuşmalar için tam doğruluk."

Bir iPhone'unuz varsa, Apple Intelligence'a sahip yeni iOS 18.1 artık AI çağrı kaydına ve transkripsiyona izin veriyor, ancak ZDNET'in baş editörü Jason Hiner bunun "hala devam eden bir çalışma" olduğunu söylüyor.

Bu arada OpenAI, 250 milyon ChatGPT Plus kullanıcısına daha fazla araç sağlamayı planladığını duyurdu.