Yapay zekayı hacklemek mi? Google'ın kırmızı ekibine göre yapay zekaya yönelik 4 yaygın saldırı:

Hem güvenlik araştırmacıları hem de bilgisayar korsanları yapay zeka sistemlerindeki zayıflıkları bulmanın yollarını araştırıyor.

Ne zaman yeni bir teknoloji popüler hale gelse, birisinin onu hacklemeye çalışmasını bekleyebilirsiniz. Yapay zeka, özellikle üretken yapay zeka da farklı değil. Bu zorluğun üstesinden gelmek için Google, bilgisayar korsanlarının yapay zeka sistemlerine özel olarak nasıl saldırabileceğini araştırmak üzere yaklaşık bir buçuk yıl önce bir 'kırmızı ekip' oluşturdu.

Google Red Teams'in başkanı Daniel Fabian bir röportajda The Register'a "Makine öğrenimi sistemlerini hedef alan gerçek dünyadaki rakiplere yönelik çok büyük miktarda tehdit istihbaratı mevcut değil" dedi. Ekibi zaten günümüzün yapay zeka sistemlerindeki en büyük güvenlik açıklarına dikkat çekti.

Google'ın kırmızı ekip lideri, makine öğrenimi (ML) sistemlerine yönelik en büyük tehditlerden bazılarının düşmanca saldırılar, veri zehirlenmesi, anında enjeksiyon ve arka kapı saldırıları olduğunu açıklıyor. Bu makine öğrenimi sistemleri, ChatGPT, Google Bard ve Bing AI gibi büyük dil modellerine dayalı olanları içerir.

Bu saldırılara genellikle 'taktikler, teknikler ve prosedürler' (TTP'ler) adı verilir.

Fabian, The Register'a "Düşman gibi düşünen insanlar istiyoruz" dedi. "ML alanında, gerçek dünyadaki rakiplerin bundan sonra nereye gideceğini tahmin etmeye çalışıyoruz."

Google'ın AI kırmızı ekibi yakın zamanda saldırganların AI sistemlerine karşı kullandığı en yaygın TTP'leri özetledikleri bir rapor yayınladı.

1. Yapay zeka sistemlerine yönelik düşmanca saldırılar

Çekişmeli saldırılar, bir makine öğrenimi modelini yanıltmak için özel olarak tasarlanmış girdilerin yazılmasını içerir. Bu, yanlış bir çıktıya veya başka durumlarda vermeyecek bir çıktıya neden olur; buna modelin özel olarak kaçınılması için eğitilebileceği sonuçlar da dahildir.

Google'ın AI Red Team raporunda, "Bir saldırganın başarılı bir şekilde rakip örnekler oluşturmasının etkisi, ihmal edilebilir düzeyden kritik seviyeye kadar değişebilir ve tamamen AI sınıflandırıcının kullanım durumuna bağlıdır." ifadesine yer verildi.

2. Veri zehirlenmesine yol açan yapay zeka

Fabian, saldırganların makine öğrenimi sistemlerine saldırmasının bir diğer yaygın yolunun, modelin eğitim verilerini öğrenme sürecini bozmak için manipüle etmeyi gerektiren veri zehirlenmesi olduğunu açıkladı.

Fabian, The Register'a "Veri zehirlenmesi giderek daha ilginç hale geldi" dedi. "Saldırganlar da dahil olmak üzere herkes internette bir şeyler yayınlayabilir ve zehirli verilerini oraya koyabilirler. Bu nedenle savunucular olarak hangi verilerin potansiyel olarak bir şekilde zehirlendiğini belirlemenin yollarını bulmamız gerekiyor."

Bu veri zehirlenmesi saldırıları, modelin davranışını ve çıktılarını çarpıtmak için modelin eğitim veri kümesine kasıtlı olarak yanlış, yanıltıcı veya manipüle edilmiş veriler eklemeyi içerir. Bunun bir örneği, sistemi kasıtlı olarak yüzleri yanlış tanımlayacak şekilde manipüle etmek için yüz tanıma veri kümesindeki görüntülere yanlış etiketler eklemek olabilir.

Google'ın AI Red Team raporuna göre, AI sistemlerinde veri zehirlenmesini önlemenin bir yolu veri tedarik zincirini güvence altına almaktır.

3. Hızlı enjeksiyon saldırıları

Bir yapay zeka sistemine hızlı enjeksiyon saldırıları, kullanıcının model çıktısını manipüle etmek için bir metin istemine ek içerik eklemesini gerektirir. Bu saldırılarda, model özel olarak bunlara karşı programlanmış olsa bile, çıktı beklenmedik, önyargılı, yanlış ve saldırgan tepkilerle sonuçlanabilir.

Çoğu yapay zeka şirketi doğru ve tarafsız bilgi sağlayan modeller oluşturmaya çalıştığından, modeli kötü niyetli kullanıcılardan korumak çok önemlidir. Bu, modele nelerin girilebileceğine ilişkin kısıtlamaları ve kullanıcıların neleri gönderebileceğinin kapsamlı bir şekilde izlenmesini içerebilir.

4. Yapay zeka modellerine arka kapı saldırıları

Arka kapı saldırıları, uzun süre fark edilmeden kalabildikleri için yapay zeka sistemlerine yönelik en tehlikeli saldırılardan biridir. Arka kapı saldırıları, bir bilgisayar korsanının modeldeki kodu gizlemesine, model çıktısını sabote etmesine ve aynı zamanda verileri çalmasına olanak tanıyabilir.

"Bir yandan, saldırılar ML'ye çok özeldir ve bir modele bir arka kapı yerleştirmek veya bir modele belirli bir ince ayar yapmak için modelin ağırlıklarını değiştirebilmek için çok fazla makine öğrenimi konusu uzmanlığı gerektirir. bir arka kapı entegre edin," diye açıkladı Fabian.

Bu saldırılar, modeli manipüle etmek için geleneksel kimlik doğrulamayı atlayan gizli bir giriş noktası olan bir arka kapı kurularak ve bu kapıdan yararlanılarak gerçekleştirilebilir.

Fabian, "Öte yandan, bunlara karşı savunma mekanizmaları, içerideki kötü niyetli kişilere karşı kontrollere sahip olmak ve erişimi kilitlemek gibi klasik güvenlik en iyi uygulamalarıdır" diye ekledi.

Saldırganlar ayrıca eğitim verisi çıkarma ve sızdırma yoluyla yapay zeka sistemlerini de hedefleyebilir.

Google'ın Yapay Zeka Kırmızı Ekibi

Fabian, yakın tarihli bir blog gönderisinde kırmızı takım adının "ordudan geldiğini ve belirlenen bir ekibin 'ev sahibi' takıma karşı düşmanca bir rol oynayacağı faaliyetleri ('kırmızı takım') tanımladığını açıkladı.

Fabian, "Geleneksel kırmızı takımlar iyi bir başlangıç noktasıdır, ancak yapay zeka sistemlerine yönelik saldırılar hızla karmaşık hale gelir ve yapay zeka konusundaki uzmanlıktan faydalanacaktır" diye ekledi.

Saldırganların da aynı becerileri ve yapay zeka uzmanlığını geliştirmesi gerekiyor ancak Fabian, Google'ın yapay zeka kırmızı ekibinin, halihazırda sahip oldukları yapay zeka bilgisiyle bu rakiplerin önünde olduğunu düşünüyor.

Fabian, takımının yaptığı çalışmanın hücumculara kıyasla defans oyuncularına avantaj sağlayacağı konusunda iyimser.