'İnsan mı değil mi' oyunu bitti: İşte son Turing Testi bize şunu söylüyor

Bu deneyin amacı yeterince basitti: iki dakika sohbet edin ve ardından diğer katılımcının insan mı yoksa bot mu olduğunu tahmin edin. Doğru tahmin edebildiniz mi?

AI21 Labs, bu baharda 2 milyondan fazla katılımcının web sitesi aracılığıyla 15 milyondan fazla sohbete katıldığı bir sosyal deney gerçekleştirdi. Her sohbetin sonunda katılımcının, sohbet ortağının insan mı yoksa yapay zeka botu mu olduğunu tahmin etmesi gerekiyordu. Neredeyse üçte biri yanlış tahminde bulundu.

ChatGPT ve diğer yapay zeka sohbet robotları daha popüler hale geldikçe, bu tür yapay zeka araçlarının insanlar kadar akıllı olup olamayacağı, bu araçların ürettiği içeriğin insan yaratımı olarak kabul edilip edilemeyeceği ve yapay zekanın insanların işlerini tehdit edip etmediği gibi sorular da artıyor.

AI21 Laboratuvarları "İnsan mı Değil mi?" sorusu için ilham buldu Alan Turing'in bir makinenin insan zekasından ayırt edilemeyecek bir zeka düzeyi sergileme becerisine ilişkin değerlendirmesinden alınan deney.

Bu tür bir deney, matematikçinin 1950 yılındaki gözlemine dayanarak Turing Testi olarak anılacaktı: "İnanıyorum ki 50 yıl içinde bilgisayarların taklit oyununu o kadar iyi oynaması mümkün olacak ki ortalama bir sorgulayıcı bile bunu başarabilecek." 5 dakikalık sorgulamadan sonra doğru teşhisin konulma şansı %70'ten fazla değil."

İnsan mı Değil mi deneyinin sonuçları Turing'in tahminini destekliyor: Genel olarak, deneye katılanlar zamanın %68'ini doğru tahmin etti. Yapay zekalı bir sohbet robotuyla eşleştirildiğinde katılımcılar yalnızca %60 oranında doğru tahminde bulundu. Konuşma partneri başka bir insan olduğunda %73 oranında doğru tahminde bulundular.

Bu mükemmel bir Turing Testi olmasa da, AI21 Laboratuvarları'nın İnsan mı Değil mi deneyi, yapay zeka modellerinin, insanları kandırmaya yetecek kadar ikna edici bir şekilde insan konuşmasını nasıl taklit edebildiğini gösterdi. Bu, yapay zeka sınırlamalarına ilişkin varsayımlarımıza meydan okuyor ve yapay zeka etiği açısından bazı sonuçlar doğurabilir.

Deney, insan katılımcıların yapay zeka botlarını tespit etmek için kişisel sorular sormak, güncel olaylar hakkında bilgi almak ve yanıtlardaki nezaket düzeyini değerlendirmek gibi farklı stratejiler kullandıklarını buldu.

Öte yandan yazarlar, botların argo kullanmak, yazım hatası yapmak, yanıtlarında kaba davranmak ve oyunun bağlamı hakkında farkındalık göstermek gibi insana benzer davranışlarla oyuncuların kafasını karıştırdığını buldu.

Deney sırasında AI21 Labs yaratıcı ürün lideri Amos Meron'a göre, "Genel kamuoyunun, araştırmacıların ve politika yapıcıların 2023 başlarında yapay zekanın durumunu daha iyi anlamalarını sağlamak amacıyla 'İnsan mı Değil mi'i yarattık." . Hedeflerden birinin "Yapay zekaya yalnızca bir üretkenlik aracı olarak değil, insanların yapay zekanın geleceğimizde nasıl uygulanması gerektiğini sorguladığı bir dönemde çevrimiçi dünyamızın gelecekteki üyeleri olarak bakmak" olduğunu ekledi.

Mevcut olduğu sürece kendim kullandığım için her seferinde insanlarla eşleştirildim ve her seferinde doğru tahminde bulundum. Yanıt bana açık göründü çünkü sohbet arkadaşlarım internet argosu kullanıyordu (örneğin idk), soruları yanıtlamayı reddediyordu ya da yanıtları bilmiyordu.

Oyuncular, "AI dil modeli olarak" gibi terimler kullanarak AI sohbet robotlarını taklit ederek diğer oyuncuların kafasını karıştırmaya çalıştılar, ancak bu genellikle kusurlu bir şekilde yapılıyordu ve diğer taraftaki insan katılımcılar bu girişimlerin arkasını görebiliyordu.