ChatGPT bir MBA sınavına girdi. İşte nasıl olduğu
OpenAI'nin sohbet robotu, bir Wharton profesörü tarafından bir sınava ayarlandı, ancak sonuç eğitimin geleceği için ne anlama geliyor?
Pennsylvania Üniversitesi, Wharton'da bir profesör, tipik bir MBA kursunda bir final sınavı için oluşturduğu yanıtları işaretledikten sonra ChatGPT'ye teorik bir B notu verdi.
Wharton'da operasyon yönetimi profesörü olan Christian Terwiesch, ChatGPT'nin "temel operasyon yönetimi ve süreç analizi sorularında harika bir iş çıkardığını" söyledi.
"Sadece cevaplar doğru değil, aynı zamanda açıklamalar da mükemmel" diye yazıyor yeni bir teknik incelemede.
Ancak chatbot'un "6. sınıf Matematik düzeyinde nispeten basit hesaplamalarda şaşırtıcı hatalar" yaptığını ve şu anda daha gelişmiş süreç analizi sorularını işleyemediğini de sözlerine ekledi. Öte yandan, ChatGPT'nin mevcut sürümü, doğru çözüme ulaşmak için insan ipuçlarına yanıt olarak yanıtlarını değiştirebilir.
Terwiesch, "Bu performans göz önüne alındığında, Chat GPT3 sınavda B'den B'ye kadar bir not alırdı" diye yazıyor.
Terwiesch'in sorularından birkaçı, ChatGPT'nin farklı verim kapasitelerine sahip birden çok makinenin bulunduğu bir işleme operasyonundaki bir darboğazı tespit edip edemeyeceğini test etmeyi amaçlıyordu.
Ancak ChatGPT, orta seviye aritmetik ile hesaplama yaparken "çok büyük bir büyüklükte önemli bir hata yaptı".
İlginç bir şekilde, ChatGPT başlangıçta Terwiesch'in kuyruk analiziyle ilgili sorularından birini yanlış yanıtladı. Daha iyi bir yanıt için bir ipucu verdi ve ChatGPT yanıtını geliştirdi. Ertesi gün, profesör ipucu olmadan aynı ilk kuyruk sorusunu sordu ve ChatGPT ilk denemesinde doğru yanıt verdi.
"Ya geçmiş geri bildirimlerden öğrenme yeteneğine sahip ya da ben sadece şanslıydım" diyor ve cevaplarının kalitesinde bir miktar rastgelelik olduğunu da ekliyor.
Terwiesch ayrıca ChatGPT'nin gelecekteki sınavlarda kullanabileceği zekice ve esprili sorular formüle edebildiğini buldu. Bununla birlikte, sohbet robotu, bazı sorularda yanıtlanmasını imkansız hale getiren ince kusurlar da ortaya çıkardı.
Terwiesch, başkalarını ChatGPT'nin yetenekleri ve sınırlamaları konusunda dikkatli olmaları konusunda uyarıyor. İlk sorusuna verdiği yanıtı okuduktan sonra ChatGPT'ye "aşık olduğunu" söylüyor, ancak "oldukça basit bazı durumlarda büyük hatalar yaptığı" konusunda uyarıyor.
"Karmaşık problemler için hala A + 'dan çok uzağız ve hala döngüde bir insana ihtiyacımız var" diye yazıyor.
"Benim eğitim görüşüme göre, bir ilkokul öğrencisinin hala 7 x 7=49 olduğunu ve Pennsylvania'nın başkentinin Harrisburg olduğunu öğrenmesi gerekiyor, ancak hesap makineleri 50 yılı aşkın bir süredir yaygın olarak kullanılıyor ve öğrenciler Google Wikipedia'yı kullanarak çoğu gerçek soruya cevap bulabiliyorlar. Daha ileri düzey konuları kavramaları gereken temel becerilerin doğası gereğidir."
Terwiesch, eğitimcilerin K-12 öğrencilerinin ödevlerde ve sınavlarda kopya çekmek için ChatGPT'yi kullanabileceğinden endişe duymaları gerektiğini kabul ediyor. Örneğin, New York Şehri Eğitim Bakanlığı kısa süre önce sohbet robotunu yasakladı çünkü öğretimde güvenilir testler önemlidir ve yeni teknoloji nedeniyle beceri sertifikasyonundan ödün verilmemelidir. ChatGPT kullanan bir öğrencinin, onlar için sınavı tamamlaması için "ortalama akademik yeterliliğe" sahip bir arkadaşını arayabilmek gibi olduğunu belirtiyor.
Ancak aynı zamanda ChatGPT ve benzeri teknolojilerin, önerilen alternatifleri eleştirel bir şekilde değerlendirmesi gereken MBA öğrencileri arasında beceriler geliştirmek için "mükemmel bir eğitim alanı" olduğuna inanan, zarif ama çoğu zaman yanlış cevaplar üreten bir "akıllı danışman" rolünü oynama yeteneğine sahip olduğunu da savunuyor.