Yapay zekanın bir gecede ana akım haline gelmesinin 10 temel nedeni - ve bundan sonra ne olacak?

Bazı zorluklarda GPT-4 tabanlı model galip geldi. Diğerlerinde başarısız oldu. Ne zaman güveneceğinizi nereden biliyorsunuz?

Çalıştırdığım programlama testleriyle ilgili en şaşırtıcı bulduğum şey, aynı büyük dil modeline dayalı araçların oldukça farklı performans gösterme eğiliminde olmasıdır.

Örneğin, ChatGPT, Perplexity ve GitHub Copilot'un tümü OpenAI'nin GPT-4 modelini temel alır. Ancak, aşağıda size göstereceğim gibi, ChatGPT ve Perplexity'nin profesyonel planları mükemmel performans gösterirken, GitHub Copilot başarılı olduğu kadar başarısız da oldu.

GitHub Copilot'u bir VS Code örneğinin içine katıştırılmış olarak test ettim. Bunu nasıl kuracağınızı ve GitHub Copilot'u nasıl kullanacağınızı yaklaşan adım adım bir makalede açıklayacağım. Ama önce, testleri gözden geçirelim.

Nasıl test ettiğimi ve her bir testin istemlerini öğrenmek istiyorsanız, bir AI sohbet robotunun kodlama yeteneğini nasıl test ettiğimi okumaktan çekinmeyin.

TL; DR: GitHub Copilot iki tane geçti ve iki başarısız oldu.

Test 1: Bir WordPress Eklentisi Yazma

Yani, bu sefil bir şekilde başarısız oldu. Bu benim ilk testimdi, bu yüzden GitHub Copilot'un kod yazmada berbat olup olmadığını veya onunla etkileşime girdiği bağlamın bu gereksinimi karşılayamayacağı noktaya kadar sınırlayıcı olup olmadığını henüz söyleyemem.

Açıklamama izin ver.

Bu test, yapay zekadan yönetici arayüzü öğeleri ve operasyonel mantıkla tamamlanmış tamamen işlevsel bir WordPress eklentisi oluşturmasını istemeyi içerir. Eklenti bir dizi ad alır, bunları sıralar ve kopyalar varsa, kopyaları yan yana olmayacak şekilde ayırır.

Bu, eşimin dijital ürünler e-ticaret işinin bir parçası olarak çok aktif Facebook grubunda çalıştırdığı bir katılım cihazının parçası olarak ihtiyaç duyduğu gerçek dünya uygulamasıydı.

Diğer AI'ların çoğu, en azından kısmen bu testi geçti. Test edilen 10 yapay zeka modelinden beşi testi tamamen geçti. Üçü testin bir kısmını geçti. İkisi (Microsoft Copilot dahil) tamamen başarısız oldu.

Mesele şu ki, GitHub Copilot'a hepsine verdiğim istemin aynısını verdim, ancak yalnızca PHP kodu yazdı. Açık olmak gerekirse, bu sorun yalnızca PHP kodu kullanılarak çözülebilir. Ancak bazı AI'lar, etkileşimli özellikler için bazı JavaScript'ler eklemeyi sever. GitHub Copilot, JavaScript'i kullanmak için kod içeriyordu, ancak kullanmaya çalıştığı JavaScript'i hiçbir zaman oluşturmadı.

Daha da kötüsü, bir JavaScript dosyası oluşturduğumda ve JavaScript dosyasının içinden GitHub Copilot'un istemi çalıştırmasını sağlamaya çalıştığımda, bana bir JavaScript dosyasına da atıfta bulunan başka bir PHP betiği verdi.

Aşağıda görebileceğiniz gibi, randomizer.js dosyasının içinde, randomizer.js dosyasını kuyruğa almaya (temelde çalıştırmak için getirmek için) çalıştı ve yazdığı kod JavaScript değil PHP idi.

Test 2: Bir dize fonksiyonunu yeniden yazma

Bu test oldukça basittir. Dolar ve sentleri test etmesi gereken ancak yalnızca tam sayıları (dolar) test eden bir fonksiyon yazdım. Test, yapay zekadan kodu düzeltmesini ister.

GitHub Copilot kodu yeniden işledi, ancak ürettiği kodla ilgili bir sürü sorun vardı.

• Bir dize değerinin her zaman bir dize değeri olduğunu varsayar. Boş olsaydı, kod bozulurdu.
• Gözden geçirilmiş normal ifade kodu, bir ondalık nokta (yani "3.") girilirse, önde gelen bir ondalık nokta (yani ".3") girilirse veya baştaki sıfırlar eklenirse (örneğin, "00,30") bozulur.

Para biriminin doğru girilip girilmediğini test etmesi gereken bir şey için, uç durumlarda kilitlenecek bir kodla başarısız olmak kabul edilemez.

Yani, başka bir başarısızlığımız var.

Test 3: Can sıkıcı bir hata bulma

GitHub Copilot bunu doğru anladı. Bu, gerçek hayattaki kodlama maceralarımdan alınan başka bir test. Bu hatayı bu kadar sinir bozucu (ve anlaşılması zor) yapan şey, hata mesajının doğrudan gerçek sorunla ilgili olmamasıdır.

Hata, bir tür hile sorusunun kodlayıcı eşdeğeridir. Bunu çözmek, WordPress çerçevesindeki belirli API çağrılarının nasıl çalıştığını anlamayı ve ardından bu bilgiyi söz konusu hataya uygulamayı gerektirir.

Microsoft Copilot, Gemini ve Meta Code Llama bu testi geçemedi. Ancak GitHub Copilot bunu doğru bir şekilde çözdü.

Test 4: Senaryo yazma

Burada da GitHub Copilot, Microsoft Copilot'un başarısız olduğu yerde başarılı oldu. Buradaki zorluk, yapay zekanın AppleScript'te kodlama, Chrome nesne modeli ve Keyboard Maestro adlı yalnızca Mac'e özel küçük bir üçüncü taraf kodlama yardımcı programı hakkında bilgi sahibi bir komut dosyası oluşturma yeteneğini test ediyor olmamdır.

Bu testi geçmek için yapay zeka, üç kodlama ortamının da dikkat gerektirdiğini anlayabilmeli ve ardından bu ortamların her birine ayrı kod satırlarını uyarlayabilmelidir.

Nihai düşünceler

GitHub Copilot'un GPT-4 kullandığı göz önüne alındığında, testlerin yarısında başarısız olmasını cesaret kırıcı buluyorum. GitHub, gezegendeki en popüler kaynak yönetimi ortamıdır ve AI kodlama desteğinin oldukça güvenilir olması umulur.

Yapay zeka ile ilgili her şeyde olduğu gibi, performansın da daha iyi olacağından eminim. Bizi izlemeye devam edelim ve yapay zekanın o zaman daha etkili olup olmadığını görmek için birkaç ay içinde tekrar kontrol edelim.

Kodlamaya yardımcı olması için bir yapay zeka kullanıyor musunuz? Hangi yapay zekayı tercih edersiniz? Eğer GitHub Copilot denediniz mi? Aşağıdaki yorumlarda bize bildirin.