Microsoft, Build 2024'te Azure AI Speech yükseltmelerini yayınladı

Şirket, üretken yapay zeka ile oluşturmayı destekleyen Azure yapay zeka hizmetlerine yönelik bir dizi iyileştirilmiş özelliğin duyurusunu yaptı.

Salı günü düzenlenen yıllık Build geliştirici konferansında Microsoft, Azure AI Konuşma hizmeti için ses özellikli, üretken yapay zeka destekli uygulama geliştirmeyi geliştiren yeni özellikleri duyurdu.

Azure AI Konuşma, halihazırda "çağrı analizi (ses, metin), tıbbi transkripsiyon (ses, görüntü, metin), altyazı oluşturma (ses/video, transkripsiyon, çeviri) ve sohbet robotları (ses, GPT) dahil olmak üzere çeşitli kullanım durumları için kullanılıyor" Microsoft, sürümde şunları söyledi. Hizmet bugüne kadar, bir yayın için sesi metin altyazılarına dönüştürmek veya bir telefon görüşmesinde belirtilen adresleri çıkarmak da dahil olmak üzere çok sayıda yeteneğe sahiptir.

OpenAI'nin geçen haftaki GPT-4o açıklamasında öne çıkanlardan biri, programın yanıtlarına verilen sesin gelişmiş kalitesine odaklanan geliştirilmiş Ses Moduydu. Buna ayak uydurmaya çalışan Microsoft, Kişisel Ses'i genel kullanıma sunduğunu duyurdu.

Sürümde, bu özelliğin kullanıcıların "sesli asistanlar, konuşma çevirisi ve video içeriği oluşturma gibi çeşitli uygulamalar için kendi AI seslerini oluşturmalarına ve kullanmalarına" olanak tanıdığı açıklandı.

Bir diğer yeni özellik ise artık ön izlemede mevcut olan konuşma analitiğidir. Adobe'nin geliştirme ortamı olan Azure AI Studio'dan erişilebilen bu sistemin, şirketin telefon görüşmelerinin veya diğer ses kaynaklarının "yumuşak" analizi olarak adlandırdığı şeyi ele alması bekleniyor. Bir çağrının yumuşak unsuru anlamsal içerik veya arayanın nasıl hissettiği olabilir; bu muhtemelen çağrının içeriğinden daha incelikli bir unsurdur.

Açıklamada, duyarlılık analizinin "gösterilen empati derecesi, katılımcıların bağlılığı ve ileri sürülen argümanların gücü gibi ayrıntıları tespit edebileceği ve hatta olası konuşma akışlarını tahmin edebileceği" açıklandı.

Örneğin bir görüşmenin transkripsiyonunda bölümler, her konuşmacının ifadesinin "olumlu", "olumsuz" veya "nötr" olarak derecelendirilmesiyle etiketlenebilir. Burada etkileşimli bir demoya göz atabilirsiniz.

Hızlı analizi mümkün kılmak için Microsoft, şirketin "genel olarak transkripsiyon için ezber bozan" olduğunu iddia ettiği Hızlı Transkripsiyon'u da kullanıma sunuyor çünkü "artık gerçek zamanlıya göre 40 kat daha hızlı (gerçek zaman faktörü<1) transkripsiyon yapabiliyor."

Şirkete göre Hızlı Transkripsiyon, çağrı sırasında manuel olarak not alma ihtiyacını ortadan kaldırarak çağrı merkezi temsilcilerinin "binlerce saat" tasarruf etmesini sağlayabilir ve doktorlar ve hemşireler hastalarla yapılan görüşmeleri saniyeler içinde analiz edebilir. Sürüm şöyle devam etti: "Medya ve içerik yaratıcıları, podcast'leri veya röportajları tamamlar tamamlamaz analiz edebilir ve bunlardan içgörüler çıkarabilir."

Microsoft, özelliğin önümüzdeki ay kullanıma sunulacağını söyledi.

Bir müşteriyle yapılan görüşme sonrası analiz örneği.

Microsoft, içeriği küresel olarak yayma ihtiyacını karşılamak için içeriği çeviren, hedef dilde bir ses sentezleyen ve bunu konuşmacının videosuyla senkronize eden otomatik video dublajı da önerdi.

Ayrıca şirket, bir kişi yayını izlerken altyazı eklemek için dil değiştirme yeteneği gibi çok dilli çeviri özelliğinde de güncellemeler yaptığını duyurdu.