Meta AI kodu yazılabilir mi? Bunu Llama, Gemini ve ChatGPT'ye karşı test ettim - yakın bile değildi

Basit kodlama testleri paketimi Meta AI'ya karşı kullandım. Sonuçlar, programlama için zaman ayırmaya değecek tek bir yapay zeka sohbet robotunun olduğunu kanıtladı.

Yapay zeka araçları ne kadar iyi kod yazıyor? Geçtiğimiz yıl boyunca, büyük dil modellerini, oldukça temel bazı programlama zorluklarını ne kadar iyi çözdüklerini görmek için bir dizi teste tabi tuttum.

Fikir basit: Eğer bu temel zorlukların üstesinden gelemiyorlarsa, muhtemelen onlardan daha karmaşık bir şey yapmalarını istemeye değmez. Öte yandan, eğer bu temel zorlukların üstesinden gelebilirlerse, zaman kazanmak isteyen programcıların yardımcı yardımcıları olabilirler.

Bu kriteri belirlemek için üç test kullanıyorum (ve dördüncüsünü de ekledim). Bunlar:

1. WordPress eklentisi yazma:Bu, WordPress'in içinde PHP programlama dilini kullanarak temel web geliştirmeyi test eder. Aynı zamanda biraz kullanıcı arayüzü oluşturmayı da gerektirir. Bir AI sohbet robotu bu testi geçerse, web geliştiricilerine yardımcı olarak temel kod oluşturmaya yardımcı olabilir. Bu testi ilk olarak "ChatGPT'den ihtiyacım olan bir WordPress eklentisi yazmasını istedim. Bunu 5 dakikadan kısa sürede yaptı." bölümünde belgelemiştim.
2. Bir dize işlevini yeniden yazma: Bu test, bir AI sohbet robotunun daha iyi işlevsellik için bir yardımcı program işlevini nasıl güncellediğini değerlendirir. Bir yapay zeka sohbet robotu bu testi geçerse programcılar için araçlar oluşturmaya yardımcı olabilir. Başarısız olursa, birinci sınıf programlama öğrencileri muhtemelen daha iyi bir iş çıkarabilirler. Bu testi ilk olarak "Tamam, yani ChatGPT kodumun hatalarını ayıkladı. Gerçekten." bölümünde belgelemiştim.
3. Can sıkıcı bir hata bulma: Bu test, WordPress'in nasıl çalıştığına dair ayrıntılı bilgi gerektirir çünkü bariz yanıt yanlıştır. Bir yapay zeka sohbet robotu buna doğru yanıt verebilirse, WordPress gibi çerçevelerde bile bilgi tabanı oldukça eksiksiz demektir. Bu testi ilk olarak "Tamam, yani ChatGPT kodumun hatalarını ayıkladı. Gerçekten." bölümünde belgelemiştim.
4. Komut dosyası yazmak: Bu test, bir yapay zeka sohbet robotunun, pek çok kullanıcı tarafından bilinmeyen oldukça özel iki programlama aracını kullanarak programlama yapmasını ister. Temel olarak AI sohbet robotunun büyük dillerin ötesindeki bilgisini test eder. Bu testi ilk olarak "Google, Gemini Code Assist'i tanıttı ve bunun programcılara yardımcı olacağı konusunda ihtiyatlı bir şekilde iyimserim." bölümünde belgelemiştim.

Size her testi anlatacağım ve sonuçları, test ettiğim diğer yapay zeka sohbet robotlarının sonuçlarıyla karşılaştıracağım. Bu şekilde, konu kodlama performansı olduğunda AI sohbet robotlarının nasıl farklılaştığını daha iyi ölçebileceksiniz.

Bu sefer Meta'nın yeni Meta Yapay Zekasını teste tabi tutuyorum. Hadi başlayalım.

1. WordPress eklentisi yazmak

Soldaki Meta AI tarafından oluşturulan arayüz, sağdaki ChatGPT tarafından oluşturulan arayüzle karşılaştırıldığında:

Her iki AI sohbet robotu da gerekli alanları oluşturdu ancak ChatGPT'nin sunumu daha netti ve her alan için başlıklar içeriyordu. ChatGPT ayrıca, işlevsellik göz önüne alındığında Rastgele düğmesini daha uygun bir konuma yerleştirdi.

Operasyon açısından ChatGPT, beklendiği gibi bir dizi adı aldı ve rastgele sonuçlar üretti. Ne yazık ki Meta AI bir takım isimleri aldı, bir şeyler gösterdi ve ardından beyaz bir ekran sundu. Bu, WordPress dünyasında genellikle "Ölümün Beyaz Ekranı" olarak tanımlanır.

İşte bu ve önceki testlerin toplu sonuçları:

• Meta AI: Arayüz: yeterli, işlevsellik: başarısız
• Meta Kod Laması: Tam başarısızlık
• Google Gemini Advanced: Arayüz: iyi, işlevsellik: başarısız
• ChatGPT: Arayüz: iyi, işlevsellik: iyi

2. Bir dize fonksiyonunu yeniden yazmak

Bu test dolar ve sent dönüşümlerini test etmek için tasarlanmıştır. Meta AI'nın dört ana sorunu vardı: Olmaması gereken durumlarda doğru değerlerde değişiklik yaptı, birden fazla ondalık basamağa sahip sayıları düzgün bir şekilde test etmedi, bir dolar tutarı ikiden az ondalık sayıya sahipse tamamen başarısız oldu (başka bir deyişle, giriş olarak 5 ABD doları veya 5,2 ABD doları ile başarısız oldu) ve işleme tamamlandıktan sonra doğru sayıları reddetti çünkü bu sayıları yanlış biçimlendirdi.

Bu oldukça basit bir ödevdir ve bilgisayar bilimleri birinci sınıf öğrencilerinin çoğunun tamamlayabilmesi gereken bir ödevdir. Meta AI'nın başarısız olması hayal kırıklığı yaratıyor, özellikle de Meta'nın Code Llama'sının aynı testte başarılı olması nedeniyle.

İşte bu ve önceki testlerin toplu sonuçları:

• Meta AI: Başarısız
• Meta Kod Laması: Başarılı
• Google Gemini Advanced: Başarısız
• ChatGPT: Başarılı

3. Can sıkıcı bir hatayı bulmak

Bu bir programlama ödevi değil. Bu test, hata verileri ve sorun açıklamasıyla birlikte önceden var olan bazı kod parçalarını alır. Daha sonra AI sohbet robotundan kodda neyin yanlış olduğunu bulmasını ve bir düzeltme önermesini ister.

Buradaki zorluk, yanlış olan bariz bir cevabın olmasıdır. Sorun, WordPress API'sinin nasıl çalıştığına dair derin bir bilgi birikiminin yanı sıra, yazılan programın çeşitli bileşenleri arasındaki etkileşimin anlaşılmasını gerektirir.

Meta AI bunu başarıyla geçti. Yalnızca hatayı doğru bir şekilde tanımlamakla kalmadı, hatta gerekli olmasa da kodun verimliliğini artıracak bir öneride de bulundu.

Basit bir dize fonksiyonunu yeniden yazma konusunda bu kadar başarısız olduktan sonra, Meta AI'nın çok daha zorlu bir problemde başarılı olmasını beklemiyordum. Bu, AI sohbet robotlarının yanıtlarında mutlaka tutarlı olmadığını gösteriyor.

İşte bu ve önceki testlerin toplu sonuçları:

• Meta AI: Başarılı
• Meta Kod Laması: Başarısız
• Google Gemini Advanced: Başarısız
• ChatGPT: Başarılı

4. Senaryo yazmak

Bu test, MacOS komut dosyası oluşturma aracı Keyboard Maestro, Apple'ın komut dosyası dili AppleScript ve Chrome komut dosyası oluşturma davranışı hakkında kodlama bilgisi gerektirir.

Keyboard Maestro inanılmaz derecede güçlü bir araçtır (birincil iş makinelerim olarak Mac'leri kullanmamın sebeplerinden biri de budur), ama aynı zamanda Avustralya'da yalnız bir programcı tarafından yazılan oldukça belirsiz bir üründür. Bir yapay zeka sohbet robotu bu aracı kullanarak kod yazabiliyorsa, diller arasında yeterli kodlama bilgisine sahip olması muhtemeldir. AppleScript, Apple'ın MacOS kodlama dilidir ancak aynı zamanda oldukça belirsizdir.

Hem Meta AI hem de Meta'nın Code Llama'sı tamamen aynı şekilde başarısız oldu: Talimatlara uygun olarak Keyboard Maestro'dan veri alamadılar. İkisinin de alet hakkında hiçbir bilgisi yok gibiydi. Buna karşılık, hem Gemini hem de ChatGPT bunun ayrı bir araç olduğunu biliyordu ve verileri doğru bir şekilde aldı.

İşte bu ve önceki testlerin toplu sonuçları:

• Meta AI: Başarısız
• Meta Kod Laması: Başarısız
• Google Gemini Gelişmiş: Başarılı
• ChatGPT: Başarılı

Genel sonuçlar

İşte dört testin genel sonuçları:

• Meta AI: 4 kişiden 1'i başarılı oldu
• Meta Kod Laması: 4'ten 1'i başarılı oldu
• Google Gemini Advanced: 4 kişiden 1'i başarılı oldu
• ChatGPT: 4 kişiden 4'ü başarılı oldu

Yaklaşık altı aydır kodlama projelerine yardımcı olmak için ChatGPT'yi kullanıyorum. Buradaki sonuçlardaki hiçbir şey beni farklı bir yapay zeka sohbet robotuna geçmeye ikna etmedi. Aslında, bu yapay zeka sohbet robotlarından herhangi birini kullansaydım, işi bitirmek yerine hataları kontrol etmeye ve bulmaya daha fazla zaman harcayacağımdan endişe duyardım.

Diğer büyük dil modellerinden hayal kırıklığına uğradım. Testlerim ChatGPT'nin en azından şimdilik hâlâ tartışmasız kodlama şampiyonu olduğunu gösteriyor.

Meta AI, Gemini veya ChatGPT ile kodlamayı denediniz mi? Deneyiminiz ne oldu? Aşağıdaki yorumlarda bize bildirin.

Günlük proje güncellemelerimi sosyal medyadan takip edebilirsiniz. Haftalık güncelleme bültenime abone olmayı unutmayın ve beni Twitter/X'te @DavidGewirtz adresinden, Facebook'ta Facebook.com/DavidGewirtz adresinden, Instagram'da Instagram.com/DavidGewirtz adresinden ve YouTube'da YouTube.com/DavidGewirtzTV adresinden takip etmeyi unutmayın.