ChatGPT kod yazabilir. Şimdi araştırmacılar, hataları düzeltmede de iyi olduğunu söylüyor
Bir geliştiricinin yeni en iyi arkadaşı mı? ChatGPT, kodda otomatik olarak hata ayıklama söz konusu olduğunda en iyilerle uyumludur. Ancak geliştiricilerin zamanından tasarruf edip etmediği veya daha fazla iş yaratıp yaratmadığı henüz belli değil.
OpenAI'nin ChatGPT sohbet robotu, yazılım hatalarını çok iyi düzeltebilir, ancak diğer yöntemlere ve yapay zeka modellerine göre en önemli avantajı, bir yanıtın doğruluğunu iyileştirmesine olanak tanıyan benzersiz insanlarla diyalog yeteneğidir.
Johannes Gutenberg University Mainz ve University College London'dan araştırmacılar, OpenAI'nin ChatGPT'sini "standart otomatik program onarım teknikleri" ve program onarımlarına yönelik iki derin öğrenme yaklaşımıyla karşı karşıya getirdiler: Kanada, Waterloo Üniversitesi'ndeki araştırmacılardan CoCoNut; ve GitHub'ın Copilot eşleştirilmiş programlama otomatik kod tamamlama hizmetinin temelini oluşturan OpenAI'nin GPT-3 tabanlı modeli Codex.
Araştırmacılar, ilk olarak New Scientist tarafından tespit edilen yeni bir arXiv makalesinde, "ChatGPT'nin hata düzeltme performansının, yaygın derin öğrenme yaklaşımları CoCoNut ve Codex ile rekabetçi olduğunu ve standart program onarım yaklaşımları için bildirilen sonuçlardan önemli ölçüde daha iyi olduğunu görüyoruz" diye yazıyor.
ChatGPT'nin kodlama sorunlarını çözmek için kullanılabileceği yeni bir şey değil, ancak araştırmacılar, insanlarla diyalog kurma konusundaki benzersiz kapasitesinin ona diğer yaklaşımlar ve modellere göre potansiyel bir avantaj sağladığını vurguluyor.
Araştırmacılar, ChatGPT'nin performansını QuixBugs hata düzeltme karşılaştırmasını kullanarak test etti. Otomatik program onarım (APR) sistemleri, 2018'den önce geliştirildikleri için dezavantajlı görünüyor.
ChatGPT, Meta'nın yapay zeka şefi Yann LeCunn'un bu hafta Google tarafından geliştirildiğini vurguladığı transformatör mimarisine dayanıyor. Codex, Microsoft Research'ten CodeBERT ve Google'dan selefi BERT, Google'ın dönüştürücü yöntemine dayanmaktadır.
OpenAI , ChatGPT'nin diyalog yeteneğini , açıklama isteyebileceği ve daha iyi bir cevaba ulaşmak için bir kişiden ipuçları alabileceği kodda hata ayıklama örneklerinde vurgular. İnsan Geri Bildiriminden Pekiştirmeli Öğrenme (RLHF) kullanarak ChatGPT'nin arkasındaki büyük dil modellerini (GPT-3 ve GPT 3.5) eğitti.
Araştırmacılar, ChatGPT'nin tartışma yeteneğinin daha doğru bir cevaba ulaşmasına yardımcı olabileceğini, ancak önerilerinin kalitesinin belirsizliğini koruduğunu belirtiyor. Bu yüzden ChatGPT'nin hata düzeltme performansını değerlendirmek istediler.
Araştırmacılar, ChatGPT'yi QuixBugs 40 yalnızca Python sorunlarına karşı test etti ve ardından önerilen çözümün doğru olup olmadığını manuel olarak kontrol etti. Bir Wharton profesörünün sohbet robotunu MBA benzeri bir sınavdan geçirdikten sonra öğrendiği gibi, ChatGPT'nin yanıtlarının güvenilirliğinde bir miktar rastgelelik olduğu için sorguyu dört kez tekrarladılar.
ChatGPT, 40 Python hatasından 19'unu çözerek CoCoNut (19) ve Codex (21) ile aynı seviyeye getirdi. Ancak standart APR yöntemleri sorunların yalnızca yedisini çözdü.
Araştırmacılar, ChatGPT'nin takip etkileşimlerindeki başarı oranının %77,5'e ulaştığını buldu.
Bununla birlikte, geliştiriciler için çaba ve üretkenlik açısından çıkarımlar belirsizdir. Stack Overflow kısa süre önce ChatGPT tarafından oluşturulan yanıtları düşük kaliteli ancak kulağa hoş geldiği için yasakladı. Wharton profesörü, ChatGPT'nin MBA öğrencileri için harika bir yol arkadaşı olabileceğini, çünkü zarif ama çoğu zaman yanlış cevaplar üreten "akıllı bir danışman" oynayabileceğini ve eleştirel düşünmeyi teşvik edebileceğini keşfetti.
Araştırmacılar, "Bu, insan girdisinin otomatik bir APR sistemine çok yardımcı olabileceğini ve ChatGPT'nin bunu yapmak için gerekli araçları sağladığını gösteriyor" diye yazıyor.
"Harika performansına rağmen, ChatGPT yanıtlarını doğrulamak için gereken zihinsel maliyetin ChatGPT'nin getirdiği avantajlardan daha ağır basıp basmadığı sorusu ortaya çıkıyor."