Yapay zeka doğru şekilde, sorumlu ve etkili bir şekilde araştırma yapmak için nasıl kullanılır?


Test ettiğim yedi yapay zeka dedektöründen ikisi, yapay zeka tarafından oluşturulan içeriği %100 oranında doğru bir şekilde tanımladı. Bu, ilk turlarımda sıfırdan yüksek, ancak testlerimin son turuna göre düşük.

Yapay zekanın ürettiği intihallere karşı mücadele etmenin mümkün olup olmadığını ve bunun nasıl işe yarayabileceğini ilk incelediğimde, Ocak 2023'tü, dünyada üretken yapay zeka konusunda patlayan farkındalığın başlamasından sadece birkaç ay sonraydı.

Bu, Ocak 2023 tarihli orijinal makalenin güncellenmiş bir sürümüdür. GPT algılayıcılarını ilk kez test ettiğimde üç tane kullandım: GPT-2 Çıkış Algılayıcısı (bu, daha önce yayınladığımızdan farklı bir URL'dir), Writer.com Yapay Zeka İçerik Algılayıcısı ve Ölçekli İçerik Yapay Zeka İçerik Algılama (görünüşe göre artık BrandWell olarak adlandırılıyor) ).

En iyi sonuç GPT-2 Çıkış Dedektöründen %66 doğruydu. Ekim 2023'te başka bir test yaptım ve üç tane daha ekledim: GPTZero, ZeroGPT (evet, farklılar) ve Writefull'un GPT Dedektörü. Daha sonra 2024 yazında karışıma QuillBot'u ve ticari bir hizmet olan Originality.ai'yi ekledim. Bu sefer Grammarly'nin beta denetleyicisini de ekleyeceğim.

Ekim 2023'te Writer.com AI Content Detector'ı test paketimizden kaldırdım çünkü Ocak 2023'te tekrar başarısız oldu, Ekim'de tekrar başarısız oldu ve 2024 yazında da başarısız oldu. Ancak artık çalışıyor gibi görünüyor, bu yüzden ben test paketine dahil. Orijinal makalenin Ocak ayında yayınlanmasının ardından ekibinin bana gönderdiği şirketten gelen bir yorum için aşağıya bakın.

Dedektörlerin bugün nasıl performans gösterdiğini görmek için tüm testleri yeniden çalıştırdım. İki güçlü başarım olsa da, en büyük çıkarım, sonuçların bir AI denetleyicisinden diğerine ne kadar tutarsız olduğu gibi görünüyor.

Neyi test ediyorum ve bunu nasıl yapıyorum?

Ancak devam etmeden önce intihal ve bunun sorunumuzla nasıl bağlantılı olduğunu tartışmalıyız. Merriam-Webster "intihal"i "(bir başkasının fikirlerini veya sözlerini) kendisininmiş gibi çalmak ve dağıtmak; (başka birinin üretimini) kaynağa atıf yapmadan kullanmak" olarak tanımlıyor.

Bu tanım yapay zeka tarafından oluşturulan içeriğe çok iyi uyuyor. Notion AI veya ChatGPT gibi bir yapay zeka aracı kullanan biri içerik çalmasa da, eğer bu kişi kelimelerin bir yapay zekadan geldiğini kabul etmez ve bunların kendilerine ait olduğunu iddia ederse yine de sözlükteki intihal tanımını karşılamaktadır.

Bu deneysel makalede ChatGPT'den yardım istedim. Sözlerim normal ve kalın yazıyla yazılmıştır. AI'nın sözleri italik yazılmıştır. Yapay zeka tarafından oluşturulan her bölümden sonra dedektörlerin sonuçlarını göstereceğim. Makalenin sonunda dedektörlerin genel olarak ne kadar iyi performans gösterdiğine bakacağız.

Kendi yazdığım yukarıdaki metnin test sonuçları:

  • GPT-2 Çıkış Dedektörü: %99,98 gerçek
  • Writer.com: %95'i insan tarafından oluşturulan içerik
  • BrandWell AI İçerik Algılama: İnsan olarak geçer
  • GPTZero:%98 insan
  • ZeroGPT: %22 AI GPT Metninizin Büyük Olasılıkla İnsanlar Tarafından Yazılmış Olduğu
  • Yazılabilir GPT Dedektörü: Bunun GPT-3, GPT-4 veya ChatGPT'den gelme olasılığı %1'dir
  • Originality.ai: Metnin orijinal olduğundan %99 eminiz
  • QuillBot: Metnin %42'si muhtemelen yapay zeka tarafından oluşturulmuştur
  • Dilbilgisi açısından: Yaygın AI metin kalıplarını tespit edemedik. Belgeniz yapay zeka tarafından oluşturulan metin içermiyor gibi görünüyor.

İnsan tarafından yazılan içerik: 7/9 (%77) doğru
Son sefer: 5/7 (%71) doğru

Devam etmeden önce neyi "doğru" analiz olarak değerlendireceğimi tartışalım. Puan sayısalsa %80'in üzerindeki her şey doğru analiz olarak sayılacaktır ve bu cömertliktir. Puanın özeti varsa özete bakıp bir karar vereceğim.

Bununla birlikte, biraz daha kazalım.

İntihal söz konusu olduğunda ChatGPT'nin öğretmenler ve editörler için neden gerçek bir sorun olabileceğini açıklayın

ChatGPT is a variant of the GPT (Generative Pre-trained Transformer) language model developed by OpenAI. It is designed to generate human-like text by predicting the next word or phrase in a given input sequence. While ChatGPT can be a useful tool for generating text and responding to prompts, it can also be a problem for teachers and editors when it comes to plagiarism.
One of the main reasons why ChatGPT can be a problem for teachers and editors is that it can generate text that is very similar to that of real human writers. This means that students or other individuals could potentially use ChatGPT to generate text that they could then submit as their own work, thereby committing plagiarism.
For teachers and editors, detecting whether a given piece of text was generated by ChatGPT or written by a human can be very difficult, as the generated text may not contain any obvious errors or discrepancies that would reveal its artificial origin. This can make it difficult for teachers and editors to identify and prevent plagiarism, as they may not be able to tell whether a given piece of text is original or copied from another source.
Overall, ChatGPT and other similar language models can be a problem for teachers and editors when it comes to plagiarism because they can generate text that is difficult to distinguish from that written by humans, making it easier for students and other individuals to commit plagiarism without being detected.
  • GPT-2 Çıkış Dedektörü: %99,69 gerçek
  • Writer.com: %77'si insan tarafından oluşturulan içerik
  • BrandWell AI İçerik Algılama: Bunu söylemek zor
  • GPTZero: %100 yapay zeka
  • ZeroGPT: %100 yapay zeka
  • Yazılabilir GPT Dedektörü: Bunun GPT-3, GPT-4 veya ChatGPT'den gelme olasılığı %12'dir.
  • Originality.ai: %100 yapay zeka
  • QuillBot: %83 olasılıkla yapay zeka
  • Dilbilgisi açısından: Yaygın AI metin kalıplarını tespit etmedik. Belgeniz yapay zeka tarafından oluşturulmuş metin içermiyor gibi görünüyor

Yapay zekayla yazılan içerik: 9'dan 4'ü (%44) doğru
Geçen sefer: 7'den 4'ü (%57) doğru

italik olarak gösterilen metnin yapay zeka tarafından oluşturulduğunu unutmayın.

ChatGPT'nin bir metin parçası oluşturmak için kullanıldığını tespit edebilmem için bana en az üç yol gösterin

There are several ways that you can potentially detect whether ChatGPT or another language model was used to produce a piece of text. Here are three potential approaches you could use:
  1. Metinde tekrarlanan veya olağandışı kalıpları arayın: Bir metin parçası oluşturmak için bir dil modelinin kullanılıp kullanılmadığını tespit etmenin bir yolu, yazıdaki tekrarlayan veya alışılmadık kalıpları aramaktır. Örneğin, dil modelleri belirli ifadeleri veya kelime kombinasyonlarını tekrarlayabilir ya da alışılmadık ya da tutarsız cümle yapıları kullanabilir.
  2. Özgünlük eksikliğini kontrol edin: Bir metin parçası oluşturmak için dil modelinin kullanılıp kullanılmadığını tespit etmenin başka bir yolu da yazıdaki orijinallik eksikliğini kontrol etmektir. Bir metnin başka bir kaynaktan kopyalanmış gibi görünmesi veya internette ya da diğer kaynaklarda yaygın olarak bulunan bilgileri içermesi, bu metnin bir dil modeli tarafından oluşturulduğunun işareti olabilir.
  3. İntihal denetleyicisi kullanın: Son olarak, bir metin parçasının başka bir kaynaktan kopyalanmış gibi görünüp görünmediğini kontrol etmek için bir intihal denetleyicisi kullanabilirsiniz. İntihal denetleyicisi, bir metin parçası oluşturmak için bir dil modelinin kullanılıp kullanılmadığını kesin olarak belirleyemese de, diğer kaynaklardan yapılan kopyalama veya başka sözcüklerle ifade etme örneklerini tanımlamanıza yardımcı olabilir.
  4. Cevabın açıkça yanlış olduğuna dikkat edin: Notion AI incelememde bundan bahsetmiştim; burada yapay zekanın görünüşte otoriter bir şekilde yazdığı ancak bariz bir şekilde yanlış olan bazı metinlere dikkat çektim. Bir öğrenci veya yazar tartışılan konuya tam olarak hakim değilse, yanlışlıkları fark edemeyebilir ve bunları yapay zeka tarafından oluşturulan yanıtta bırakabilir. Elbette yanlış ifadeler yalnızca yapay zeka yazma aracının kapsamı değildir. Örneğin pek çok blog yazarı ve yorumcu, diğer blog yazarlarının beyanlarını tekrarlayarak tamamen "yanlış gerçeklerden" oluşan bir yankı odası yaratarak zekanın yapay olmasına rağmen aptallığın evrensel bir özellik olduğunu gösteriyor.
Keep in mind that it can be difficult to definitively determine whether a language model was used to generate a piece of text, and these methods may not always be effective. However, they can be useful tools to help you identify potential instances of language model-generated text.

Bu test grubunda yalnızca yukarıdaki italik içerik denetleyici paketi aracılığıyla çalıştırıldı.

  • GPT-2 Çıkış Algılayıcısı: %99,98 sahte
  • Writer.com: %73 insan tarafından oluşturulan içerik
  • BrandWell AI İçerik Algılama: İnsan olarak geçer
  • GPTZero: %100 yapay zeka
  • ZeroGPT: %96,99 yapay zeka oluşturuldu
  • Yazılabilir GPT Dedektörü:Bu durumun GPT-3, GPT-4 veya ChatGPT'den gelme olasılığı %79'dur.
  • Originality.ai: %100 yapay zeka
  • QuillBot: %100 yapay zeka
  • Dilbilgisi açısından: Yaygın AI metin kalıplarını tespit etmedik. Belgeniz yapay zeka tarafından oluşturulmuş metin içermiyor gibi görünüyor

Yapay zekayla yazılan içerik: 9'dan 5'i (%55) doğru
Geçen sefer: 7'den 5'i (%71) doğru

ChatGPT metnini algılayabilen üç intihal denetleyicisini listeleyin

It is worth noting that there is currently no plagiarism checker that is specifically designed to detect text generated by ChatGPT or other language models. While some plagiarism checkers may be able to identify certain characteristics of language model-generated text that could indicate its artificial origin, there is no guarantee that they will be able to definitively determine whether a piece of text was generated by a language model.
With that said, here are three plagiarism checkers that you might consider using to help identify potential instances of language model-generated text:
  1. Turnitin: Turnitin, okullar ve üniversiteler tarafından yaygın olarak kullanılan popüler bir intihal denetleyicisidir. Kopyalama veya başka kelimelerle ifade etme örneklerini belirlemek için bir metin parçasını diğer metinlerden oluşan bir veritabanıyla karşılaştırır. Bir metin parçasının bir dil modeli tarafından oluşturulup oluşturulmadığını kesin olarak belirleyemese de, dil modeli tarafından oluşturulan metnin yapay kökenine işaret edebilecek belirli özelliklerini potansiyel olarak tanımlayabilir.
  2. PlagScan: PlagScan, kopyalama veya başka kelimelerle ifade etme örneklerini belirlemek için bir metin parçasını diğer metinlerden oluşan bir veritabanıyla karşılaştıran başka bir intihal denetleyicisidir. Turnitin gibi, dil modeli tarafından oluşturulan metnin yapay kökenine işaret edebilecek belirli özelliklerini tanımlayabilir ancak dil modeli tarafından oluşturulan metni algılamak için özel olarak tasarlanmamıştır.
  3. Copyleaks: Copyleaks, bir metin parçasını taramak ve onu diğer metinlerden oluşan bir veritabanıyla karşılaştırmak ve kopyalama veya başka kelimelerle ifade etme örneklerini belirlemek için gelişmiş makine öğrenimi algoritmalarını kullanan bir intihal denetleyicisidir. Dil modeliyle oluşturulan metnin belirli özelliklerini tanımlayabilse de, dil modeliyle oluşturulan metni algılamak için özel olarak tasarlanmamıştır.
It is worth noting that no plagiarism checker is completely foolproof, and there is always the possibility that a piece of language model-generated text could escape detection. Therefore, it is important to use plagiarism checkers as just one part of a larger strategy to detect and prevent plagiarism.
  • GPT-2 Çıkış Dedektörü: %99,58 gerçek
  • Writer.com: %74 insan tarafından oluşturulan içerik
  • BrandWell AI İçerik Algılama: İnsan olarak geçer
  • GPTZero: %100 yapay zeka
  • ZeroGPT: %100 yapay zeka
  • Yazılabilir GPT Algılayıcı: %87 olasılıkla bu GPT-3, GPT-4 veya ChatGPT'den gelmektedir.
  • Originality.ai: %100 yapay zeka
  • QuillBot: %100 yapay zeka tarafından oluşturulmuştur
  • Dilbilgisi açısından: İntihal veya AI metni algılanmadı

Yapay zekayla yazılan içerik: 9'da 5 (%55) doğru
Son sefer: 7'de 5 (%71) doğru

Çevrimiçi yapay zeka intihal denetleyicileri

Çoğu intihal dedektörü, yazıyı diğer yazılardan oluşan bir bütünle karşılaştırmak için kullanılır. Örneğin, bir öğrenci bir makale teslim ettiğinde Turnitin gibi bir ürün, gönderilen makaleyi veri tabanındaki büyük bir makale kitaplığıyla ve internetteki diğer belge ve metinlerle karşılaştırarak, gönderilen makalenin önceden yazılmış içerik içerip içermediğini belirler.

Ancak yapay zeka yazma araçları en azından teoride orijinal içerik üretiyor. Evet, içeriklerini eğitim aldıkları her şeyden yola çıkarak oluşturuyorlar, ancak oluşturdukları kelimeler her kompozisyon için bir bakıma benzersizdir.

Bu nedenle, yukarıda bahsedilen intihal denetleyicileri muhtemelen işe yaramayacaktır çünkü yapay zeka tarafından oluşturulan içerik, örneğin başka bir öğrencinin ödevinde muhtemelen mevcut değildi.

Bu yazıda sadece GPT dedektörlerine bakıyoruz. Ancak intihal büyük bir sorundur ve gördüğümüz gibi, bazıları intihal'i sizin yazmadığınız, size ait olduğunu iddia ettiğiniz bir şey olarak tanımlamayı seçerken, diğerleri intihal'i başkası tarafından yazılmış ve size ait olduğunu iddia ettiğiniz bir şey olarak tanımlamayı tercih etmektedir.

Bu ayrım şu ana kadar hiçbir zaman sorun olmadı. Artık insan olmayan yazarlarımız olduğuna göre intihal ayrımı daha incelikli. Bu çizginin tam olarak nerede çizileceğine karar vermek her öğretmenin, okulun, editörün ve kurumun sorumluluğundadır.

  • GPT-2 Çıkış Dedektörü: %99,56 gerçek
  • Writer.com: %98'i insan tarafından oluşturulan içerik
  • BrandWell AI İçerik Algılama: İnsan olarak geçer
  • GPTZero: %98 insan
  • ZeroGPT: %16,82 AI - Metniniz insanlar tarafından yazılmıştır
  • Yazılabilir GPT Dedektörü: Bunun GPT-3, GPT-4 veya ChatGPT'den gelme olasılığı %7'dir.
  • Originality.ai: %100 orijinal
  • QuillBot: %0 yapay zeka
  • Dilbilgisi açısından: İntihal veya AI metni algılanmadı

Yapay zekayla yazılan içerik: 9'dan 9'u (%100) doğru
Geçen sefer: 7'den 7'si (%100) doğru

Genel sonuçlar

Genel olarak, sonuçlar son test turuna kıyasla düşüş gösterdi. O zaman mükemmel skorlara sahip üç servisimiz vardı. Bu sayı şimdi ikiye düştü çünkü o zamanlar mükemmel puan alan oyuncularımızdan biri olan ZeroGPT, daha önce başarılı olduğu bir testte başarısız oldu. Eklediğimiz iki yeni algılayıcı Writer.com ve Grammarly puanı iyileştirmedi. Aslında her ikisi de genel olarak başarısız oldu.

Test

Overall

Human

AI

AI

AI

Human

GPT-2 Output Detector

60%

Correct

Fail

Correct

Fail

Correct

Writer.com

40%

Correct

Fail

Fail

Fail

Correct

BrandWell AI Detector

40%

Correct

Fail

Fail

Fail

Correct

GPTZero

100%

Correct

Correct

Correct

Correct

Correct

ZeroGPT

80%

Fail

Correct

Correct

Correct

Correct

Writefull GPT Detector

60%

Correct

Fail

Fail

Correct

Correct

Originality.ai

100%

Correct

Correct

Correct

Correct

Correct

QuillBot

80%

Fail

Correct

Correct

Correct

Correct

Grammarly

40%

Correct

Fail

Fail

Fail

Correct

Genel sonuçlar iyileşse de, bir öğrencinin içeriğini doğrulamak için yalnızca bu araçlara güvenmek beni rahatsız eder. Gösterildiği gibi, ana dili İngilizce olmayan kişilerin yazdığı yazılar genellikle bir yapay zeka tarafından oluşturulmuş olarak derecelendiriliyor ve her ne kadar el yapımı içeriğim artık yapay zeka olarak derecelendirilmemiş olsa da, test uzmanları tarafından muhtemelen yapay zeka tabanlı olarak işaretlenen birkaç paragraf vardı. . Ayrıca sonuçların test sistemleri arasında ne kadar tutarsız olduğunu da görebilirsiniz. Bu nedenle, bu araçlardan herhangi birinin (veya tamamının) sonuçlarına güvenmeden önce dikkatli olmanızı öneririm.

Bireysel test uzmanlarına bakalım ve her birinin nasıl performans gösterdiğini görelim.

GPT-2 Çıkış Dedektörü (Doğruluk %60)

Bu ilk araç, New York merkezli yapay zeka şirketi Hugging Face tarafından yönetilen bir makine öğrenimi merkezi kullanılarak oluşturuldu. Şirket, doğal dil kütüphanesini geliştirmek için 40 milyon dolar fon alırken, GPT-2 dedektörü, Hugging Face Transformers kütüphanesini kullanan, kullanıcı tarafından oluşturulan bir araç gibi görünüyor. Yaptığım beş testten üçünde dedektör doğru sonuç verdi.

Writer.com Yapay Zeka İçerik Dedektörü (Doğruluk Yok)

Writer.com, kurumsal ekiplere yönelik yapay zeka yazımı üreten bir hizmettir. AI İçerik Dedektörü aracı, oluşturulan içeriği tarayabilir. Bu aracı güvenilmez buldum. Daha önce sonuç üretememiş olsa da bu sefer çalıştı. Ne yazık ki doğruluğu oldukça düşüktü. Temel olarak her metin bloğunun insan tarafından yazıldığını belirledi; altı testten üçü ChatGPT tarafından yazıldı.

Bu makale ilk olarak Ocak ayında yayınlandıktan sonra Writer.com'daki kişiler ZDNET'e ulaştı. CEO May Habib şu yorumu paylaştı:

Yapay zeka dedektörüne olan talep hızla arttı. Birkaç ay önce kullanıma sunduğumuzdan bu yana trafik haftada 2-3 kat arttı. Artık düşmemesini sağlamak için arkasında gerekli ölçeklendirmeye sahibiz ve amacımız onu ücretsiz tutmak ve bizimkiler de dahil olmak üzere en son modellerin çıktılarını yakalamak için güncel tutmaktır. Yapay zeka çıktısı kelimesi kelimesine kullanılacaksa mutlaka atfedilmelidir.

BrandWell Yapay Zeka İçerik Tespiti (%40 Doğruluk)

Bulduğum üçüncü araç, orijinal olarak bir AI içerik oluşturma firması olan Content at Scale tarafından üretildi. Daha sonra araç, artık yapay zeka merkezli bir pazarlama hizmetleri şirketinin yeni adı gibi görünen Brandwell.ai'ye taşındı.

Ne yazık ki doğruluk oldukça düşüktü. Araç, bu ekran görüntüsünde olduğu gibi tüm AI içeriğini insan olarak tanımladı:

Bu metin tamamen ChatGPT tarafından yazılmıştır.

GPTZero (Doğruluk %100)

GPTZero'yu neyin harekete geçirdiği tam olarak belli değil. Şirket mühendisleri ve satış elemanlarını işe alıyor ve AWS üzerinde çalışıyor, dolayısıyla masraflar ve satışlar var. Ancak, sunulan hizmet hakkında bulabildiğim tek şey, oturum açmadan sunulan 5.000 kelimeden fazlasını taramak için ücretsiz bir hesaba kaydolabileceğiniz bir yerdi. GPT algılamaya yönelik bu hizmetle ilgileniyorsanız, size daha fazla ayrıntıyla yanıt verip vermeyeceklerini görmeniz gerekir. Testleri ilk kez çalıştırdığımdan bu yana doğruluk arttı ve bu turda %100'de kaldı.

ZeroGPT (Doğruluk %80)

ZeroGPT, son baktığımızdan bu yana bir hizmet olarak olgunlaşmış görünüyor. En son baktığımızda hiçbir şirket adı listelenmemişti ve site, görünürde para kazanma stratejisi olmayan Google reklamlarıyla doluydu. Hizmet oldukça iyi çalıştı ancak yarım yamalak görünüyordu.

O yarım yamalak hissi artık ortadan kalktı. ZeroGPT, fiyatlandırma, şirket adı, iletişim bilgileri ve diğer her şeyle birlikte diğer herhangi bir SaaS hizmeti gibi sunulur. Hala oldukça iyi performans gösteriyor, bu nedenle geliştiriciler çalışma kodlarını daha çok çalışan bir işe dönüştürmeye karar vermiş olabilir. Ancak doğruluk düştü. İnsan tarafından yazılan bir testi yapay zeka olarak yanlış okudu.

Yazılabilir GPT Dedektörü (Doğruluk %60)

Writefull, yazma destek hizmetlerinin yanı sıra araçlarının ücretsiz deneme sürümünü de satmaktadır. GPT dedektörü oldukça yeni ve oldukça iyi çalıştı. Ancak testlerimizde aracın bazı iniş çıkışları oldu. Yüzde 60’tan yüzde 80’e çıktı ama bu sefer tekrar yüzde 60’a düştü.

Originality.ai (Doğruluk %100)

Originality.ai, kendisini hem yapay zeka denetleyicisi hem de intihal denetleyicisi olarak tanıtan ticari bir hizmettir. Şirket, hizmetlerini kullanım kredisine dayalı olarak satmaktadır. Size bir fikir vermesi açısından, bu makale için yaptığım tüm taramalarda 30 kullanım kredisi kullanıldı. Şirket ayda 12,95 dolara 2.000 kredi satıyor. Sisteme yaklaşık 1.400 kelime pompaladım ve aylık tahsisin yalnızca %1,5'ini kullandım.

Sonuçlar AI denetleyicisi için mükemmeldi, ancak araç, hizmeti intihal denetleyicisi olarak kullanırken beş seferden üçünde başarısız oldu. Aşağıdaki ekran görüntüsü, yapıştırılan metnin %0 oranında çalıntı olduğunu iddia etmektedir:

Bu yanlış çünkü araca yapıştırılan metnin tamamı iki yıl boyunca çevrimiçi olarak yayınlanan bu makaleden alınmıştır. Belki intihal tarayıcısının ZDNET içeriğini okuyamadığını düşündüm, ancak bu ekran görüntüsünün gösterdiği gibi durum böyle değil:

Adil olmak gerekirse, bu makalede intihal denetleyicilerini kontrol etmek için yola çıkmadım. Ancak mevcut makalemden aldığımı bildiğim kaynak materyali kullandığım için intihal denetleyicisinin hepsini %100 intihal olarak değerlendireceğini düşündüm. Her durumda, Originality.ai, test etmek için yola çıktığımız yapay zeka denetleyicisinde çok başarılı oldu. Araç bunun için puan alır.

QuillBot (Doğruluk %80'e yakın)

Hiçbir şey asla kolay değildir. QuillBot üzerinden ilk testimi yaptığımda metnin %45'inin muhtemelen bir yapay zeka tarafından oluşturulduğu söylendi. Değildi. Ben yazdım. Ancak diğer tüm testleri tamamladıktan sonra, bu bölümün ekran görüntüsünü almak için QuillBot'a döndüm, %45 puanı oluşturan metnin aynısını ona verdim ve gördüğünüz gibi artık %0 AI rapor ediyor.

Peki bu sonuçtan ne anlamalıyız? Ne yazık ki, bu metni ilk test ettiğimde ekran görüntüsünü alamadım, ancak yapay zeka dedektörlerine çok fazla güvenmenin endişesini vurguluyor çünkü onlar da oldukça halüsinasyon yeteneğine sahip.

Dilbilgisi (Doğruluk %40)

Grammarly, yazarların dil bilgisi açısından doğru içerik üretmelerine yardımcı olan iyi bilinen bir araçtır. Burada test ettiğimiz şey bu değil. Grammarly hem intihal hem de yapay zeka içeriğini kontrol edebilir. Bir belgeyi dilbilgisi denetleyicisine yapıştırabilirsiniz ve sağ alt köşede İntihal ve Yapay Zeka metin denetimi düğmesi bulunur.

Bu testte araç, benim yapıştırdığım belgeyle eşleşen mevcut bir çevrimiçi belge buldu. Bu sonuç mantıklı çünkü bu, birkaç yıldır çevrimiçi olan bir makalenin güncellemesi. Ancak doğru olmayan şey, segmentin tamamı ChatGPT tarafından oluşturulduğu için "Belgeniz Al tarafından oluşturulmuş metin içermiyor gibi görünüyor" ifadesidir.

OpenAI'nin kendi ChatGPT dedektörü ne olacak?

OpenAI, dedektörün özellikle hassas olmaması nedeniyle geçen yıl bunu geri çekti. Ağustos itibarıyla %99 doğru olması gerekiyordu, ancak dört ay sonra hâlâ yayınlanacağına dair bir işaret yok. İddia edilen doğruluk seviyesine de inanmak biraz zor çünkü ChatGPT'nin kendisi %100 doğru olmaktan uzak.

Ancak her durumda, ZDNET dostum Steven Vaughan-Nichols'un yazdığı gibi, bu henüz mevcut değil. Kamu kullanımına sunulduğunda araca bir deneme yapacağız. Bizi izlemeye devam edin.

Son düşünceler

Öncelikle ChatGPT'nin söz söylemesine izin vereceğim: Notion AI ve ChatGPT gibi yapay zeka araçları, insanlar tarafından yazılanlardan ayırt edilmesi zor metinler oluşturabildiğinden, yapay zeka kaynaklı intihal giderek büyüyen bir sorundur. Bir metin parçasının yapay zeka tarafından oluşturulup oluşturulmadığını tespit etmenin, tekrarlayan veya olağandışı kalıpları aramak, orijinallik eksikliğini kontrol etmek veya intihal denetleyicisi kullanmak gibi çeşitli yolları vardır. Turnitin, PlagScan ve Copyleaks gibi intihal denetleyicileri, dil modeliyle oluşturulan metnin belirli özelliklerini tanımlayabilir ancak bunlar kusursuz değildir.

Bulduğum özel aletler bile ne yazık ki bu göreve uygun değildi. Ocak ayındaki testlerime göre sınırlı bir gelişme oldu. Ancak bu araçların sonuçlarına dayanarak bir öğrencinin akademik durumunu tehdit etmek veya kopya çekmekle suçlamak kesinlikle hoşuma gitmez.

Bu noktada yapay zekanın yapay zekayla savaşmasına izin vermeye hazır olduğumuzu düşünmüyorum. Bunun yerine, yapay zeka tarafından üretilen çalışmaları tanımlamak için insan algısına (bu da insanların dikkat etmesi gerektiği anlamına gelir) güvenmemiz gerekecek.

Bir şeyin makine tarafından oluşturulduğunu hemen varsaymayın. Bir şeyin aptalca ya da son derece hatalı olması onun bir insan tarafından yazılmadığı anlamına gelmez. Hepimizin bildiği gibi insanlar bazı kötü şeyleri kendi başlarına yazabilirler.

Peki ne düşünüyorsun? Bir parçanın yapay zeka tarafından üretilip üretilmediğini söyleyebilir misiniz? Bu yapay zeka yazma araçlarını aniden kullanıma sunulduğundan bu yana geçen aylarda kullandınız mı? Bunların eğitime ve gazeteciliğe yardımcı mı yoksa engel mi olduğunu düşünüyorsunuz? Aşağıdaki yorumlarda bize bildirin. ChatGPT bunu şu şekilde yanıtladı:

As a language model, I can't see or interact with physical pieces of writing, so I can't tell if a piece is AI-generated or not. However, I can tell you that there are several AI writing tools that are available, and they can be used to generate a wide range of written content, including news articles, fiction, poetry, and more.
I don't have personal experience using these tools since I am just a computer program and don't have the ability to browse the internet or use physical tools. However, I can tell you that some people have found AI writing tools to be helpful in education and journalism, as they can save time and effort by automating certain tasks. Others have expressed concerns about the potential for these tools to be used to produce misleading or biased content or to replace human writers. Ultimately, whether AI writing tools are a help or hindrance depends on how they are used and the context in which they are used.

Yani evet, şu var.

İlgili makaleler