Microsoft, dahili üretken yapay zeka kırmızı ekip oluşturma aracını halka duyurdu
PyRIT, bir gen yapay zeka modelini test etmek için binlerce kötü amaçlı istem oluşturabilir ve hatta yanıtını puanlayabilir.
Üretken yapay zeka (gen yapay zeka) modellerinin gelişmiş yeteneklerine rağmen, bunların hileli davrandığını, halüsinasyon gördüğünü veya kötü niyetli aktörlerin yararlanabileceği boşluklara sahip olduğunu gördük. Bu sorunun azaltılmasına yardımcı olmak için Microsoft, üretken yapay zeka sistemlerindeki risklerin belirlenmesine yardımcı olabilecek bir araç tanıtıyor.
Perşembe günü Microsoft, Microsoft'un Yapay Zeka Kırmızı Ekibinin Copilot da dahil olmak üzere gen yapay zeka sistemlerindeki riskleri kontrol etmek için kullandığı bir araç olan üretken yapay zeka için Python Risk Tanımlama Araç Setini (PyRIT) yayınladı.
Blog gönderisine göre Microsoft, geçen yıl 60'tan fazla yüksek değerli yapay zeka sistemini kırmızı ekiple birleştirdi ve bu sayede kırmızı ekip oluşturma sürecinin bu sistemler için klasik yapay zeka veya geleneksel yazılımlardan çok farklı olduğunu öğrendi.
Süreç farklı görünüyor çünkü Microsoft, zararlı içeriğin kasıtlı olarak oluşturulmamasını veya modellerin dezenformasyon sağlamamasını sağlamak gibi sorumlu yapay zeka risklerinin yanı sıra olağan güvenlik risklerini de dikkate almak zorundadır.
Ek olarak, gen yapay zeka modelleri mimari olarak büyük farklılıklar gösteriyor ve aynı girdiden üretilebilecek sonuçlarda sapmalar mevcut, bu da tüm modellere uyan akıcı bir süreç bulmayı zorlaştırıyor.
Sonuç olarak, tüm bu farklı risklerin manuel olarak araştırılması, zaman alıcı, sıkıcı ve yavaş bir süreç haline gelir. Microsoft, otomasyonun daha fazla dikkat gerektiren riskli alanları belirleyerek ve rutin görevleri otomatikleştirerek kırmızı ekiplere yardımcı olabileceğini ve PyRIT'in devreye girdiği yer olduğunu paylaşıyor.
"Microsoft AI ekibi tarafından test edilen" araç seti, üretken AI sistemine kötü niyetli bir istem gönderir ve bir yanıt aldığında, puanlama aracısı sisteme bir puan verir ve bu puan, temel olarak yeni bir istem göndermek için kullanılır. önceki puanlama geri bildirimi.
Microsoft, PyRIT'in en büyük avantajının, Microsoft'un kırmızı takım çalışmalarının daha verimli olmasına yardımcı olması ve bir görevin alacağı süreyi önemli ölçüde kısaltması olduğunu söylüyor.
"Örneğin, Copilot sistemindeki kırmızı ekip çalışmalarımızdan birinde, birkaç saat içinde bir zarar kategorisi seçebildik, binlerce kötü niyetli istem oluşturabildik ve PyRIT'in puanlama motorunu kullanarak Copilot sisteminden gelen çıktıyı değerlendirebildik. haftalar yerine" dedi Microsoft, sürümde.
Araç seti bugün erişime açıldı ve kullanıcıların araca alışmasına yardımcı olacak bir demo listesi içeriyor. Microsoft ayrıca PyRIT hakkında, Microsoft'un web sitesi aracılığıyla kaydolabileceğiniz kırmızı ekip oluşturma üretken yapay zeka sistemlerinde nasıl kullanılacağını gösteren bir web seminerine de ev sahipliği yapıyor.