Meta'nın Code Llama'sını ChatGPT'nin başardığı 3 AI kodlama mücadelesiyle test ettim - ve bu iyi değildi

Meta CEO'su Mark Zuckerberg kısa süre önce kodlama için tasarlanmış 70B parametreli bir yapay zeka olan Code Llama'yı tanıttı. Peki ChatGPT gibi devlere karşı nasıl bir performans sergiliyor? Teste koydum.

Birkaç hafta önce Meta CEO'su Mark Zuckerberg, Facebook aracılığıyla şirketinin, ChatGPT'deki GPT-3.5 ve GPT-4'e benzer bir yapay zeka (AI) motoru olan büyük dil modeli (LLM) Code Llama'yı açık kaynak olarak kullandığını duyurdu.

Zuck, bu LLM ile ilgili üç ilginç şeyi duyurdu: Açık kaynaklı olması, kod yazmaya ve düzenlemeye yardımcı olmak için tasarlanmış olması ve modelinin 70B parametresi olması. Geliştiricilerin modeli daha zorlu problemlerle besleyebilmeleri ve motorun yanıt verdiğinde daha doğru sonuçlar vermesi umut ediliyor.

Açık kaynak meselesi ilginçtir. Bu, her şeyi indirebileceğinizi, kendi sunucunuza kurabileceğinizi ve modeli, Facebook'un Hükümdarlarının eğitim veya diğer kötü amaçlarla kodunuzu ele geçirme riskini almadan programlama yardımı almak için kullanabileceğinizi ima eden bir yaklaşımdır.

Bu işi yapmak, bir Linux sunucusu kurmayı ve her türlü çember atlayışını yapmayı içerir. Ancak Hugging Face'teki uzmanların Code Llama 70B LLM'yi HuggingChat arayüzüne zaten uyguladıkları ortaya çıktı. İşte bundan sonra test edeceğim şey bu.

Code Llama'yı kullanmaya başlama

Başlamak için Hugging Face'te ücretsiz bir hesap oluşturmanız gerekecek. Zaten bir hesabınız varsa (benim gibi), bu hesapla 70B Code Llama LLM'yi kullanabilirsiniz.

Unutulmaması gereken önemli bir nokta da Code Llama'yı kendi sunucunuza yükleyip kodlarınızı paylaşamamanıza rağmen Hugging Face'te hikayenin çok farklı olmasıdır. Bu hizmet, ayarlarda bu seçeneği kapatmadığınız sürece yazdığınız her şeyin model yazarlarıyla paylaşılabileceğini söylüyor:

HuggingChat'e giriş yaptığınızda karşınıza boş bir sohbet ekranı çıkacak. Aşağıda görebileceğiniz gibi, mevcut LLM'im openchat/openchat-3.5-0106, ancak bunu Code Llama olarak değiştireceğim ve size nasıl yapılacağını göstereceğim.

Mevcut modelinizi, dişli simgesine basarak ulaşabileceğiniz ayarlarda değiştirirsiniz:

Ayarlara girdikten sonra soldaki codellama/CodeLlama-70b-Instruct-hf'ye (1'de) tıklayın, Code Llama LLM'nin seçildiğini doğrulayın (2'de) ve ardından Etkinleştir'e (3'te) tıklayın:

Artık sohbet arayüzüyle konuştuğunuzda, sohbet arayüzünün üst kısmında doğrulandığı gibi Code Llama modelini kullanıyor olacaksınız:

Test etmek için, Bard (şimdi Gemini) ile yürüttüğüm önceki bir kodlama testi çalışmasından istemler almaya karar verdim ve aynı testleri HuggingChat'te de yaptım.

Test 1: WordPress eklentisi yazma

İlk testim bir WordPress eklentisi oluşturmaktı. ChatGPT bu görevde oldukça iyi performans gösterdi. Bard zayıftı ama elinden geleni yaptı. Peki Kod Lama'ya ne dersiniz? Bakalım. İşte istem:

İçine satır listesi yapıştırılabilen bir metin giriş alanı ve basıldığında listedeki satırları rastgele seçen ve sonuçları boş olmayan ikinci bir metin giriş alanında sunan bir düğme sağlayan, PHP 8 uyumlu bir WordPress eklentisi yazın. satırlar ve iki özdeş girişin yan yana olmadığından emin olur (başka bir seçenek olmadığı sürece)...gönderilen satır sayısı ve sonuçtaki satır sayısı birbiriyle aynı olur. İlk alanın altında, kaynak alandaki boş olmayan satırların sayısıyla birlikte "Rastgele satır: " ifadesini belirten metni görüntüleyin. İkinci alanın altında, hedef alandaki boş olmayan satırların sayısıyla birlikte "Rastgele seçilen satırlar: " ifadesini içeren metni görüntüleyin.

Ve işte sonuçlar şu şekilde:

Bu pek çok düzeyde doğru değil. Öncelikle Code Llama, tüm eklentilerin gerektirdiği çok basit bir alan kümesi olan eklenti başlığını oluşturmadı. Daha sonra programlama editörümün kod formatlayıcısının yorumlayamadığı bir kod üretti ve bu da kodda eksik öğeler olduğunu gösteriyordu.

Dahası, kod test edilemez. Bu bir başarısızlık.

Test 2: Bir dize işlevini yeniden yazma

Bu test için, bir zamanlar ChatGPT'ye verdiğim bir dize yeniden yazma isteğini kullandım. Kodumda, dolar ve sentlere izin vermesi gerekirken yalnızca tam sayılara izin veren bir hatayı düzeltmek istedim (başka bir deyişle, bir miktar rakam, muhtemelen ardından bir nokta ve sonra, eğer bir nokta varsa, iki tane). daha fazla rakam).

Önceki makalemde kullandığım istemin aynısını ilettim ve şu yanıtı aldım:

Bu kod çalışıyor ve bundan memnunum.

Test 3: Bulamadığım bir hatayı bulma

Daha önceki bir makalede yazdığım bir testi tekrar kullandım. Code Llama'da denediğim sorunun ayrıntılarını istiyorsanız sizi orijinal makaleye yönlendireceğim. Kodlama sorunu uzun ve oldukça karmaşık, bu yüzden neyin yanlış olduğunu bulamadım.

ChatGPT sorunu hemen çözdü; Bard bunu yapmadı. Bard başarısız oldu çünkü genel kodun nasıl oluşturulduğuna ve çalıştırılması gerektiğine değil, sorunun yüzeyine baktı. Bir benzetme baş ağrısıyla doktora gitmektir. Bir doktor size iki aspirin almanızı ve sabah onu aramamanızı söyleyebilir. Diğer doktor baş ağrısının temel nedenini bulmaya çalışabilir ve bunu çözmeye yardımcı olabilir.

ChatGPT temel nedene odaklandı ve hatayı düzeltmeyi başardım. Bard sadece semptomlara baktı ve bir çözüm bulamadı.

Ne yazık ki Code Llama, sorunun sadece yüzeyine bakarak Bard'ın yaptığının aynısını yaptı. Yapay zeka önerilerde bulundu ancak bu öneriler durumu iyileştirmedi.

Ve kazanan...

Test paketim kapsamlı olmaktan uzak. Ancak Code Llama, ChatGPT'yi bile yavaşlatmayan üç testten ikisinde başarısız olursa, yapay zeka prime time'a hazır değil gibi görünüyor.

Code Llama'yı ChatGPT üzerinden kullanmak istemenizin tek nedeni, onu kendi sunucunuza kurmanızdır çünkü bu durumda kodunuz Meta ile paylaşılmayacaktır. Ama eğer o şey doğru cevapları vermiyorsa mahremiyetin ne faydası var?

ChatGPT bu kadar iyi olmasaydı muhtemelen Code Llama'ya biraz puan verirdim. Ancak ChatGPT ile nelerin mümkün olduğunu biliyoruz ve Code Llama bu seviyeden çok uzak. Kısacası Facebook'un bu durumu iyileştirmesi ve bazı iyileştirmeler yapması gerekiyor gibi görünüyor.

Dürüst olmak gerekirse daha iyisini bekliyordum ve biraz hayal kırıklığına uğradım. Ancak teknoloji köşe yazarlarının alıştığı bir şey varsa o da baktığımız birçok ürün ve projeden dolayı biraz hayal kırıklığına uğramak. Sanırım bu yüzden bir şey öne çıkıp dünyamızı sarstığında bu kadar heyecanlanıyoruz. Ve Code Lama ne yazık ki bunlardan biri değil.

Kodlama yardımı için yapay zekalardan herhangi birini denediniz mi? Hangilerini kullandınız? Nasıl çalıştılar? Aşağıdaki yorumlarda bize bildirin.