Claude 3.5 Sonnet ile ChatGPT'nin başarılı AI kodlama testlerini karşılaştırdım ve yaratıcı bir şekilde başarısız oldu

Anthropic, güncellenmiş AI aracının programlama için ideal olduğunu iddia ediyor. Claude 3.5 Sonnet'i dört standart programlama testime tabi tuttuktan sonra size bazı tavsiyelerim var.

Geçen hafta Anthropic'ten Claude 3.5 Sonnet'in mevcut olduğunu bildiren bir e-posta aldım. AI şirketine göre, "Claude 3.5 Sonnet, geniş bir değerlendirme yelpazesinde rakip modellerden ve Claude 3 Opus'tan daha iyi performans göstererek zeka açısından sektör çıtasını yükseltiyor."

Şirket şunları ekledi: "Claude 3.5 Sonnet, kod oluşturma gibi karmaşık görevler için idealdir." Bunun doğru olup olmadığını görmeye karar verdim.

Yeni Claude 3.5 Sonnet modelini standart kodlama testlerime tabi tutacağım. Bu testler, çok çeşitli yapay zekalara karşı geniş bir sonuç yelpazesiyle yürüttüğüm testler. Kendi testlerinizle birlikte takip etmek ister misiniz? Tarayıcınızı, uyguladığım tüm standart testleri, nasıl çalıştıklarına ilişkin açıklamaları ve sonuçlarda nelere bakılması gerektiğini içeren "Yapay Zeka sohbet robotunun kodlama yeteneğini nasıl test ederim" konusuna yönlendirin. Siz de bunu yapabilirsiniz.

Tamam, her testin sonuçlarını inceleyelim ve bunların Microsoft Copilot, Meta AI, Meta Code Llama, Google Gemini Advanced ve ChatGPT kullanılarak yapılan önceki testlerle nasıl karşılaştırıldığını görelim.

1. WordPress eklentisi yazmak

İlk başta bu çok fazla umut vaat ediyormuş gibi görünüyordu. Test istemime göre oluşturulan Claude 3.5 Sonnet kullanıcı arayüzüyle başlayalım.

Bu, bir yapay zekanın iki veri alanını yan yana koymaya ilk kez karar vermesidir. Düzen temiz ve harika görünüyor.

Claude ayrıca daha önce hiçbir yapay zekanın yaptığını görmediğim başka bir şey yapmaya karar verdi. Bu eklenti, WordPress sunucusunun arka ucunda çalışan kod olan PHP kodunu kullanarak oluşturulabilir.

Ancak bazı yapay zeka uygulamalarında ayrıca JavaScript kodu (dinamik kullanıcı arayüzü özelliklerini kontrol etmek için tarayıcıda çalışan) ve CSS kodu (tarayıcının bilgileri nasıl görüntülediğini kontrol eden) eklendi.

PHP ortamında, PHP, JavaScript ve CSS'ye ihtiyacınız varsa, CSS ve JavaScript'i doğrudan PHP koduna dahil edebilirsiniz (bu, PHP'nin bir özelliğidir) veya kodu üç ayrı dosyaya koyabilirsiniz; PHP, biri JavaScript için, diğeri CSS için.

Genellikle, bir yapay zeka üç dili de kullanmak istediğinde, PHP dosyasına neyin kesilip yapıştırılması gerektiğini, ardından kesilip bir JavaScript dosyasına yapıştırılması gereken başka bir bloğu ve ardından kesilip yapıştırılması gereken üçüncü bir bloğu gösterir. bir CSS dosyası.

Ancak Claude sadece bir PHP dosyası sağladı ve çalıştırıldığında JavaScript ve CSS dosyalarını eklentinin ana dizininde otomatik olarak oluşturdu. Bu hem oldukça etkileyici, hem de biraz yanlış bir yaklaşım. Eklenti oluşturma sürecini kolaylaştırmaya çalışması harika, ancak bir eklentinin kendi klasörüne yazıp yazamayacağı işletim sistemi yapılandırmasının ayarlarına bağlıdır ve başarısız olma ihtimali çok yüksektir.

Test ortamımda buna izin verdim, ancak bir eklentinin üretim ortamında kendi kodunu yeniden yazmasına asla izin vermem. Bu çok ciddi bir güvenlik açığıdır.

Claude'un kod oluşturma çözümünün oldukça yaratıcı doğasına rağmen, sonuçta eklenti başarısız oldu. Rastgele düğmesine basmak kesinlikle hiçbir şey yapmaz. Bu çok üzücü çünkü dediğim gibi çok fazla vaat vardı.

İşte bu ve önceki testlerin toplu sonuçları:

• Claude 3.5 Sonnet: Arayüz: iyi, işlevsellik: başarısız
• ChatGPT GPT-4o: Arayüz: iyi, işlevsellik: iyi
• Microsoft Copilot: Arayüz: yeterli, işlevsellik: başarısız
• Meta AI: Arayüz: yeterli, işlevsellik: başarısız
• Meta Kod Laması: Tam başarısızlık
• Google Gemini Advanced: Arayüz: iyi, işlevsellik: başarısız
• ChatGPT 4: Arayüz: iyi, işlevsellik: iyi
• ChatGPT 3.5: Arayüz: iyi, işlevsellik: iyi

2. Bir dize fonksiyonunu yeniden yazmak

Bu test, yapay zekanın verilen ihtiyaç için daha uygun şekilde çalışacak şekilde kodu nasıl yeniden yazdığını değerlendirmek için tasarlanmıştır; bu durumda dolar ve sent dönüşümleri.

Claude 3.5 Sonnet revizyonu baştaki sıfırları düzgün bir şekilde kaldırarak "000123" gibi girişlerin "123" olarak değerlendirilmesini sağladı. İki ondalık basamağa kadar tamsayılara ve ondalık sayılara düzgün bir şekilde izin verir (bu, istemin istediği anahtar düzeltmedir). Negatif değerleri engeller. Ayrıca herhangi bir tuhaf veya beklenmeyen giriş için "0" değerini döndürecek kadar akıllıdır, bu da kodun anormal bir şekilde hatayla sonuçlanmasını önler.

Bir başarısızlık, ondalık değerlerin tek başına girilmesine izin vermemesidir. Yani kullanıcı 50 senti "0,50" yerine ".50" olarak girerse giriş başarısız olur. Testin orijinal metin açıklamasının nasıl yazıldığına bağlı olarak, bu giriş formuna izin verilmiş olması gerekirdi.

Revize edilen kodun çoğu işe yarasa da bunu bir başarısızlık olarak saymam gerekiyor çünkü kod bir üretim projesine yapıştırılırsa kullanıcılar yalnızca sent değerleri içeren girdileri giremezler.

İşte bu ve önceki testlerin toplu sonuçları:

• Claude 3.5 Sonnet: Başarısız
• ChatGPT GPT-4o: Başarılı
• Microsoft Yardımcı Pilot: Başarısız
• Meta AI: Başarısız
• Meta Kod Laması: Başarılı
• Google Gemini Advanced: Başarısız
• ChatGPT 4: Başarılı
• ChatGPT 3.5: Başarılı

3. Can sıkıcı bir hatayı bulmak

Bu testin en büyük zorluğu, yapay zekanın bariz olmayan bir hatayı bulmakla görevlendirilmesi ve doğru şekilde çözmek için WordPress platformu hakkında platform bilgisi gerektirmesidir. Bu aynı zamanda kendi başıma hemen göremediğim bir hata ve başlangıçta ChatGPT'den çözmesini istedim (ki çözdü).

Claude sadece bunu doğru yapmakla kalmadı (hatanın inceliğini yakalayıp düzeltmekle kalmadı), aynı zamanda yayınlama sürecinin örnek sorguya bir hata getirdiği gerçeğini yakalamak için tüm testleri çevrimiçi yayınladığımdan beri ilk yapay zeka oldu. (bunu daha sonra düzelttim ve yeniden yayınladım).

İşte bu ve önceki testlerin toplu sonuçları:

• Claude 3.5 Sonnet: Başarılı
• ChatGPT GPT-4o: Başarılı
• Microsoft Yardımcı Pilot: Başarısız oldu. Olağanüstü. Coşkulu bir şekilde. Emoji olarak.
• Meta AI: Başarılı
• Meta Kod Laması: Başarısız
• Google Gemini Advanced: Başarısız
• ChatGPT 4: Başarılı
• ChatGPT 3.5: Başarılı

Şu ana kadar üç başarısızlıktan ikisindeyiz. Gelelim son testimize.

4. Senaryo yazmak

Bu test, yapay zekanın programlama bilgisinin özel programlama araçlarına ne kadar ulaştığını görmek için tasarlanmıştır. AppleScript, Mac'lerde komut dosyası yazmak için oldukça yaygın olsa da Keyboard Maestro, Avustralya'da yalnız bir programcı tarafından satılan ticari bir uygulamadır. Bunu vazgeçilmez buluyorum ama Mac'teki bu tür pek çok uygulamadan sadece biri.

Bununla birlikte, ChatGPT'de test yaparken ChatGPT, AppleScript'in yanı sıra Keyboard Maestro'yu da nasıl "konuşacağını" biliyordu, bu da programlama dili bilgisinin ne kadar geniş olduğunu gösteriyor.

Ne yazık ki Claude bu bilgiye sahip değil. Chrome ile konuşmaya çalışan bir AppleScript yazdı (bu, test parametresinin bir parçasıdır), ancak temel Keyboard Maestro bileşenini göz ardı etti.

Daha da kötüsü, AppleScript'te çalışma zamanı hatası oluşturacak bir kod üretti. Testteki eşleşmenin büyük/küçük harf durumunu göz ardı etmek amacıyla Claude şu satırı oluşturdu:

if theTab's title contains input ignoring case then

Bu neredeyse çifte hatadır çünkü "contains" ifadesi büyük/küçük harfe duyarlı değildir ve "büyük/küçük harf dikkate alınmaz" ifadesi yerleştirildiği yere ait değildir. Komut dosyasının "Yoksaymak bundan sonra olamaz" sözdizimi hata mesajıyla hata vermesine neden oldu.

İşte bu ve önceki testlerin toplu sonuçları:

• Claude 3.5 Sonnet: Başarısız
• ChatGPT GPT-4o: Başarılı ancak çekinceler var
• Microsoft Yardımcı Pilot: Başarısız
• Meta AI: Başarısız
• Meta Kod Laması: Başarısız
• Google Gemini Advanced: Başarılı
• ChatGPT 4: Başarılı
• ChatGPT 3.5: Başarısız

Genel sonuçlar

İşte beş testin genel sonuçları:

• Claude 3.5 Sonnet: 4 kişiden 1'i başarılı oldu
• ChatGPT GPT-4o: 4 kişiden 4'ü başarılı oldu ancak tuhaf bir ikili seçenekli cevap var
• Microsoft Copilot: 4 kişiden 0'ı başarılı oldu
• Meta AI: 4 kişiden 1'i başarılı oldu
• Meta Kod Laması: 4 kişiden 1'i başarılı oldu
• Google Gemini Advanced: 4 kişiden 1'i başarılı oldu
• ChatGPT 4: 4 kişiden 4'ü başarılı oldu
• ChatGPT 3.5: 4 kişiden 3'ü başarılı oldu

Claude 3.5 Sonnet konusunda biraz hayal kırıklığına uğradım. Şirket özellikle bu sürümün programlamaya uygun olduğuna söz verdi. Ama gördüğünüz gibi o kadar da değil. Programlayamayacağı anlamına gelmiyor. Sadece doğru şekilde programlayamıyor.

Özellikle platform ve programlama ortamı satıcıları bu diğer modelleri doğrudan programlama sürecine entegre etmeye başladıkça, ChatGPT çözümlerini en iyi şekilde kullanabilecek bir yapay zeka aramaya devam ediyorum. Ancak şimdilik programlama yardımına ihtiyacım olduğunda ChatGPT'ye geri dönüyorum ve bu benim size de tavsiyem.

Programlamanıza yardımcı olması için yapay zeka kullandınız mı? Hangisi? Nasıl gitti? Aşağıdaki yorumlarda bize bildirin.

Günlük proje güncellemelerimi sosyal medyadan takip edebilirsiniz. Haftalık güncelleme bültenime abone olmayı unutmayın ve beni Twitter/X'te @DavidGewirtz adresinden, Facebook'ta Facebook.com/DavidGewirtz adresinden, Instagram'da Instagram.com/DavidGewirtz adresinden ve YouTube'da YouTube.com/DavidGewirtzTV adresinden takip etmeyi unutmayın.