Bard, Claude ve Copilot ile ChatGPT'nin doğruluğunu kontrol ettim - ve bu yapay zeka kesinlikle yanlış olanıydı

Hata yapmak insandır ve görünüşe göre yapay zeka da öyle.

Üretken yapay zekanın (AI) olgusal hatalara eğilimli olduğu biliniyor. Peki, ChatGPT'den 150 varsayılan gerçek oluşturmasını istediğinizde ve tüm hafta sonunu her birini elle onaylamak istemiyorsanız ne yaparsınız?

Benim durumumda diğer yapay zekalara yöneldim. Bu makalede, projeyi açıklayacağım, her yapay zekanın bir bilgi doğrulama hesaplaşmasında nasıl performans gösterdiğini ele alacağım ve hepsi birbirine benzeyen bu kıvrımlı, küçük pasajlardan oluşan labirentte ilerlemek istiyorsanız bazı son düşünceler ve uyarılar sunacağım.

Proje

Geçen hafta, ChatGPT'de çalışan DALL-E 3'ün ABD'nin her eyaletini temsil ettiğini düşündüğü 50 pitoresk görüntü ürettiği çok eğlenceli bir proje yayınladık. Ayrıca ChatGPT'nin "eyalet hakkında bildiğiniz en ilginç üç gerçek" listesini de hazırladım. Sonuçlar, editörümün makalenin başlığında da belirttiği gibi "olağanüstü derecede tuhaftı".

ChatGPT, Golden Gate Köprüsü'nü Kanada'da bir yere yerleştirdi. Araç, Lady Liberty'yi hem ABD'nin orta batısına hem de Manhattan adasında bir yere yerleştirdi. Ve iki Empire State Binası oluşturdu. Kısacası, ChatGPT soyut dışavurumculuğunu harekete geçirdi, ancak sonuçlar oldukça harikaydı.

Bireysel gerçeklere gelince, çoğunlukla hedefteydiler. ABD coğrafyası ve tarihi konusunda oldukça iyiyim ve ChatGPT'nin ürettiği gerçeklerden çok azının son derece yanlış olduğunu düşündüm. Ancak herhangi bir bağımsız doğruluk kontrolü yapmadım. Sonuçları okudum ve yeterince iyi olduklarını ifade ettim.

Peki ya bu 150 gerçek merminin doğruluğunu gerçekten bilmek istiyorsak? Bu tür bir soru yapay zeka için ideal bir proje gibi görünüyor.

Metodoloji

İşte olay şu. ChatGPT Plus tarafından kullanılan OpenAI geniş dil modeli (LLM) GPT-4, gerçek ifadeleri oluşturduysa, bunların kontrol edilmesi gerektiğine tam olarak ikna olmadım. Bu, lise öğrencilerinden herhangi bir referans kullanmadan bir tarih ödevi yazmalarını ve ardından çalışmalarını kendi kendilerine düzeltmelerini istemek gibidir. Zaten şüpheli bilgilerle başlıyorlar ve siz onların kendilerini düzeltmelerine izin mi veriyorsunuz? Hayır, bu bana doğru gelmiyor.

Peki ya bu gerçekleri diğer yapay zekaların içindeki diğer LLM'lere aktarırsak? Hem Google'dan Bard'ın hem de Anthropic'ten Claude'un kendi yüksek lisans dereceleri var. Bing, GPT-4'ü kullanıyor, ancak yalnızca tamamlayıcı olması açısından yanıtlarını test etmem gerektiğini düşündüm.

Göreceğiniz gibi, en iyi geri bildirimi Bard'dan aldım, bu yüzden yanıtlarını evrenin doğal düzeninin sürekli saptırılmasıyla ChatGPT'ye geri gönderdim. Harika bir projeydi.

Antropik Claude

Claude, Notion'un yapay zeka uygulamasında da kullanılan Claude 2 LLM'yi kullanıyor. Claude, tüm gerçekleri içeren (resimler olmadan) bir PDF dosyası göndermeme izin verdi. İşte geri aldığım şey:

Genel olarak Claude, gerçekler listesinin çoğunlukla doğru olduğunu buldu, ancak üç madde için bazı açıklamalar vardı. ChatGPT gerçeklerinin uzunluğunu sınırladım ve bu sınır, bilgi açıklamalarındaki incelikleri engelledi. Claude'un doğruluk kontrolü bu nüans eksikliğinin bir kısmıyla ilgili sorun yarattı.

Genel olarak cesaret verici bir yanıttı.

Yardımcı pilot mu yoksa pilotsuz mu?

Daha sonra, Bing Chat AI olarak yeniden adlandırılan Microsoft'un Copilot'una ulaşıyoruz. Copilot, PDF'lerin yüklenmesine izin vermiyor, bu yüzden 50 durum olgusunun tamamını içeren metni yapıştırmayı denedim. Bu yaklaşım hemen başarısız oldu çünkü Copilot yalnızca 2.000 karaktere kadar olan istemleri kabul ediyor:

Copilot'a şunları sordum:

Aşağıdaki metin, eyalet adlarını ve ardından her eyalet için üç olguyu içermektedir. Lütfen gerçekleri inceleyin ve bu eyalette hatalı olanları belirleyin

İşte geri aldığım şey:

Kontrol etmesini istediğim gerçek verileri hemen hemen tekrarladı. Bu yüzden onu daha güçlü bir ipucuyla yönlendirmeye çalıştım:

Bir kez daha doğrulamasını istediğim verileri bana geri verdi. Bu çıktıyı çok tuhaf buldum çünkü Copilot, ChatGPT ile aynı LLM'yi kullanıyor. Açıkçası, Microsoft bunu ChatGPT'den farklı bir şekilde ayarladı.

Vazgeçtim ve Bard'a geçtim.

Ozan

Google az önce yeni Gemini LLM'yi duyurdu. Henüz Gemini'ye erişimim yok, bu yüzden bu testleri Google'ın PaLM 2 modelinde çalıştırdım.

Claude ve Copilot'la karşılaştırıldığında Bard onu parkın dışına çıkardı ya da daha çok Shakespearevari bir şekilde, "dar dünyayı bir Colossus gibi en iyi şekilde sürüyor."

Aşağıdaki sonuçlara göz atın:

Pek çok eyalet gerçeğinin eyaletler tarafından üzerinde anlaşmaya varılmadığını veya nüanslar bulunduğunu not etmek önemlidir. Bir sonraki bölümde size göstereceğim gibi, bu listeyi ChatGPT'ye ilettim ve Alaska ve Ohio cevaplarında iki tutarsızlık buldu.

Ama burada başka eksikler de var. Bard bazı açılardan bu görevin karşılığını fazlasıyla ödedi. Örneğin Bard, Maine dışında diğer eyaletlerin de ıstakoz ürettiğini doğru bir şekilde ifade etti. Ancak Maine ıstakoz üretiminde her şeyi yapıyor. En popüler turist tuzağı biblolarından biri olan minyatür ıstakoz tuzaklarının bulunduğu başka bir eyalete hiç gitmedim.

Veya Nevada ve 51. Bölge'yi seçelim. ChatGPT şöyle dedi: "Çok gizli askeri üs, UFO görüldüğüne dair söylentiler." Bard, "51. Bölge'de sadece UFO görüldüğü söylentisi yok. Burası gerçekten çok gizli bir askeri tesis ve amacı bilinmiyor" diyerek düzeltmeye çalıştı. Hemen hemen aynı şeyi söylüyorlar. Bard, sıkı kelime sınırına sahip olmanın getirdiği ince ayrıntıyı kaçırdı.

Bard'ın ChatGPT'de bağlamı anlamadan seçtiği bir diğer yer ise Minnesota'ydı. Evet, Wisconsin'de de çok sayıda göl var. Ancak Bard, Minnesota'nın en fazla göle sahip olduğunu iddia etmedi. Minnesota'yı, Minnesota'nın en yaygın sloganlarından biri olan "10.000 göl ülkesi" olarak tanımladı.

Bard Kansas'a da takıldı. ChatGPT, Kansas'ın "Bitişik ABD'nin coğrafi merkezine ev sahipliği yaptığını" söyledi. Bard buranın Güney Dakota olduğunu iddia etti. Alaska ve Hawaii'yi de hesaba katarsanız bu doğru olacaktır. Ancak ChatGPT "bitişik" dedi ve bu onur Lübnan, Kansas yakınındaki bir noktaya gidiyor.

Devam edebilirim ve bir sonraki bölümde de devam edeceğim, ancak siz anladınız. Bard'ın doğrulama yöntemi etkileyici görünüyor ancak çoğu zaman asıl noktayı kaçırıyor ve işleri diğer yapay zekalar kadar yanlış anlıyor.

ChatGPT'nin Bard'ın doğruluk kontrolüne ilişkin sınırlı doğruluk kontrolüne geçmeden önce, Bard'ın girişlerinin çoğunun ya yanlış ya da yanlış kafalı olduğunu belirtmeme izin verin. Yine de Google, yapay zeka yanıtlarını çoğu arama sonucunun önüne koyuyor. Bu seni ilgilendiriyor mu? Bu beni kesinlikle endişelendiriyor.

Lordlarım ve leydilerim, böyle bir mucizeden bahsedilemez.

SohbetGPT

En baştan Bard'ın bir gerçeği yanlış anladığını söyleyebilirim: Alaska Teksas'tan çok daha büyük. O yüzden ChatGPT'nin Bard'ın doğruluğunu kontrol edip edemeyeceğini görelim diye düşündüm. Bir an için yapay zekanın bu kuyruk takibinin Ay'ı Dünya'nın yörüngesinden çıkarabileceğini düşündüm ama sonra evrenimizin tüm yapısını riske atmaya karar verdim çünkü ne olduğunu bilmek isteyeceğinizi biliyordum:

ChatGPT'yi şu şekilde besledim:

Ve ChatGPT'nin söylediği şu (ve netlik sağlamak gerekirse, ay yörüngede kaldı):

Gördüğünüz gibi ChatGPT, Bard'ın Teksas'ın en büyük eyalet olduğu yönündeki hatalı iddiasına karşı çıktı. Ayrıca havacılığın doğuşu olarak Ohio-Kansas karşılaşmasında da biraz heyecan vardı ki bu, çoğu okulun öğrettiğinden daha tartışmalı bir konu.

Wright Flyer'larını Dayton, Ohio'da inşa etmelerine rağmen, Wilbur ve Orville Wright'ın ilk uçağı (aslında Kitty Hawk, Kuzey Carolina'da) uçurdukları genel olarak kabul edilir. Bununla birlikte, Sir George Cayley (1804), Henri Giffard (1852), Félix du Temple (1874), Clément Ader (1890), Otto Lilienthal (1891), Samuel Langley (1896), Gustave Whitehead (1901) ve Richard Pearse (1902) - Yeni Zelanda'dan, İngiltere'den, Fransa'dan, Almanya'dan ve ABD'nin diğer bölgelerinden - hepsinin ilk uçan kişi olduğu konusunda bir bakıma meşru iddiaları var.

Ancak asıl noktayı ChatGPT'ye vereceğiz, çünkü bir iddiada bulunmak için yalnızca 10 kelime var ve Ohio, Wright Kardeşlerin bisiklet mağazalarının olduğu yerdi.

Sonuçlar ve uyarılar

Bir şeyi önceden önleyelim: Gerçeklerinizin doğru olmasını istediğiniz bir makaleyi veya belgeyi teslim ediyorsanız, kendi doğruluk kontrolünüzü yapın. Aksi takdirde Teksas büyüklüğündeki hırslarınız Alaska büyüklüğünde bir sorunun altında kalabilir.

Testlerimizde gördüğümüz gibi, sonuçlar (Bard'da olduğu gibi) oldukça etkileyici görünebilir ancak tamamen veya kısmen yanlış olabilir. Genel olarak, çeşitli yapay zekalardan birbirlerini çapraz kontrol etmelerini istemek ilginçti ve bu muhtemelen daha fazla araştıracağım bir süreç, ancak sonuçlar yalnızca ne kadar sonuçsuz oldukları konusunda kesindi.

Yardımcı pilot tamamen pes etti ve uykusuna geri dönmek istedi. Claude birkaç yanıttaki ince ayrıntılara itiraz etti. Bard bir sürü yanıta sert bir şekilde yanıt verdi; ancak görünen o ki hata yapmak yalnızca insanlara özgü değil, aynı zamanda yapay zekaya da bağlı.

Sonuç olarak, gerçek Ozan'dan alıntı yapıp şöyle demeliyim: "Karışıklık artık onun başyapıtı haline geldi!"

Ne düşünüyorsun? En sevdiğiniz yapay zekada ne tür korkunç hatalar gördünüz? Gerçekler için yapay zekalara güvenmekten memnun musunuz, yoksa artık kendi doğrulama süreçlerinizi mi yürüteceksiniz? Aşağıdaki yorumlarda bize bildirin.

Günlük proje güncellemelerimi sosyal medyadan takip edebilirsiniz. Substack'taki haftalık güncelleme bültenime abone olmayı ve beni Twitter'da @DavidGewirtz adresinden, Facebook'ta Facebook.com/DavidGewirtz adresinden, Instagram'da Instagram.com/DavidGewirtz adresinden ve YouTube'da YouTube.com/DavidGewirtzTV adresinden takip etmeyi unutmayın.