ChatGPT’nin son zamanlarda popüler olması ve birçok alanda kullanımı sonrasında yapay zeka ile yazılan bir metin ve bir insanın yazacağı metnin nasıl ayırt edilebileceği akıllarda soru işareti oluşturdu. OpenAI şirketi bunun için yeni bir çözümle geldi! Şirket AI Metin Sınıflandırıcı kullanımını başlattı!
AI Metin Sınıflandırıcı
OpenAI daha önce de üzerinde çalıştıklarını açıkladıkları, yapay zeka tarafından yazılmış metin ile insan tarafından yazılmış metin arasında ayrım yapmak için eğitilmiş bir sınıflandırıcıyı başlattı. Şirket bu sınıflandırıcıyı otomatikleştirilmiş yanlış bilgilendirme kampanyaları yürütülmesi, akademik sahtekârlık için yapay zeka araçlarının kullanılması ve bir yapay zeka sohbet robotunu insan olarak konumlandırılmasının önüne geçmek için oluşturmuştur.
Sınıflandırıcı tamamen güvenilir değil. Aynı konuda insan tarafından yazılmış metin ve yapay zeka tarafından yazılmış metin çiftlerinden oluşan bir veri kümesi üzerinde (İngilizce metinlerden oluşan) yani “zorluk seti” ile eğitilmiş. Sınıflandırıcı yapay zeka tarafından yazılmış metnin %26’sını (gerçek pozitifler) “muhtemelen yapay zeka tarafından yazılmış” olarak doğru bir şekilde tanımlarken, %9 (yanlış pozitifler) oranında insan tarafından yazılan metni yanlış bir şekilde “Yapay zeka tarafından yazılmış” olarak etiketliyor.
AI Metin Sınıflandırıcı Sınırlamaları
OpenAI şirketinin sınıflandırıcı ile ilgili olarak açıklamaları aşağıdaki gibidir.
- Sınıflandırıcı, kısa metinlerde (1.000 karakterin altında) çok güvenilmezdir. Daha uzun metinler bile bazen sınıflandırıcı tarafından yanlış bir şekilde etiketlenir.
- Bazen insanlar tarafından yazılan metinler, sınıflandırıcı tarafından yanlış ama güvenle yapay zeka tarafından yazılmış olarak etiketlenir.
- Sınıflandırıcıyı yalnızca İngilizce metin için kullanmanızı öneririz. Diğer dillerde önemli ölçüde daha kötü performans gösterir ve kod konusunda güvenilir değildir.
- Çok tahmin edilebilir olan metin güvenilir bir şekilde tanımlanamaz. Örneğin, ilk 1000 asal sayı listesinin yapay zeka tarafından mı yoksa insanlar tarafından mı yazıldığını tahmin etmek imkansızdır, çünkü doğru cevap her zaman aynıdır.
- AI ile yazılmış metin, sınıflandırıcıdan kaçınmak için düzenlenebilir. Bizimki gibi sınıflandırıcılar, başarılı saldırılara göre güncellenebilir ve yeniden eğitilebilir, ancak tespitin uzun vadede bir avantajı olup olmadığı açık değildir.
- Sinir ağlarına dayalı sınıflandırıcıların, eğitim verilerinin dışında yetersiz kalibre edildiği bilinmektedir. Eğitim setimizdeki metinden çok farklı girdiler için, sınıflandırıcı bazen yanlış bir tahminde bulunmaktan son derece emindir.
Sınıflandırıcıyı denedim;
Bir makaleden giriş yazısını aldım ve sınıflandırıcıya verdim. Sonuç aşağıdaki gibi oldu. Sınıflandırıcı yazının AI tarafından yazılmadığını söyledi.
Daha sonra ChatGPT kullanarak yazılan bir metni sınıflandırıcıya verdim. Sınıflandırıcı bunun muhtemel olarak AI tarafından yazıldığını söyledi.
Sonuç olarak sınıflandırıcı benim denemelerimde doğruya yakın cevaplar verdi. (Yapay zekaya yazdırdığım metni muhtemel olarak işaretledi.) Benzer şekilde denemelerimde farklı sonuçlara ulaştığımda yeni örnekleri eklerim!
Sınıflandırıcıyı denemek için; AI Metin Sınıflandırıcı linkini kullanabilirsiniz. Konuyla ilgili olarak ChatGPT yazımı da buraya bırakıyorum. 🙂