Cloudflare'in yeni ücretsiz aracı, botların yapay zekayı eğitmek için web sitenizin içeriğini kazımasını engelliyor
Şirkete göre yapay zeka botları, Haziran 2024'te Cloudflare'i kullanarak en büyük bir milyon 'internet mülkünün' yaklaşık %39'una erişti.
Yapay zeka botlarının yapay zekayı eğitmek için web sitenizin içeriğini silmesinden endişeleniyorsanız Cloudflare mücadele etmenize yardımcı olabilir.
Web'in yaklaşık %20'sini proxy olarak kullandığını iddia eden şirket, tüm AI botlarının bir sitenin metnini kazımasını engelleyen yeni bir araç tanıttı. Cloudflare, aracın tüm müşterilerin, hatta ücretsiz kullanımdakilerin bile kullanımına açık olduğunu söylüyor.
Üretken yapay zekanın artmasıyla birlikte şirketlerin sohbet robotlarını eğitmek için içeriğe ihtiyacı var. Birçoğu analiz için sitelerden metin çeken web kazıyıcılara yöneliyor (ChatGPT'nin Reddit gönderilerinizde yaptığı gibi). Bazı şirketler web kazıma botları konusunda açık ve dürüsttür, ancak bazıları değildir.
Cloudflare, geçen Eylül ayında kullanıcıların "kötü" AI web tarayıcılarını veya siteleri izinsiz olarak kazıyanları engellemesine yönelik bir özellik yayınladı. Doğal olarak bazı şirketler, orijinal gibi görünen kazıyıcılar üreterek bu sorunu çözmenin bir yolunu buldu. Bu yeni aracın tüm AI tarayıcılarını, hatta kazıma için uygun protokolü izleyenleri bile engellemesinin nedeni budur.
Şirket, Haziran 2024'te yapay zeka botlarının Cloudflare kullanarak en büyük bir milyon "internet mülkünün" yaklaşık %39'una eriştiğini söyledi. Bu mülklerin %3'ünden azı yapay zeka botlarını engellemek için önlemler aldı. Cloudflare'e göre sitelerini tarayan ilk dört bot Bytespider, Amazonbot, ClaudeBot ve GPTBot oldu.
TikTok'un sahibi Bytedance'ın sahibi olduğu Bytespider, ChatGPT rakibi Doubao da dahil olmak üzere büyük dil modelleri için eğitim verileri toplamak için kullanılıyor. Amazonbot, Alexa'nın soru cevaplama tarafını eğitmek için kullanılır, ClaudeBot Claude AI'yi eğitir ve GPTBot ChatGPT'yi eğitir.
Cloudflare kullanıcısıysanız aracı kullanmak basittir. Kontrol panelinizin ayarlar bölümüne gidin, ardından "Güvenlik" ve "Botlar"ı tıklayın. Burada "AI Kazıyıcılar ve Tarayıcılar" etiketli bir geçiş düğmesi göreceksiniz. Bunu açtığınızda AI botları artık içeriğinize erişemeyecektir.
Elbette yapay zeka botları sürekli gelişiyor. Cloudflare, rahatsız edici botların "parmak izlerini" algıladığından bu özelliğin de otomatik olarak gelişeceğini söylüyor.
Yeni araç, bugünden itibaren tüm Cloudflare kullanıcılarının kullanımına sunuldu.