OpenAI’nin yeni araştırma makalesi, GPT-5 gibi büyük dil modelleri ve ChatGPT gibi sohbet robotlarının neden hâlâ halüsinasyon gördüğünü ve bu halüsinasyonları azaltmak için bir şey yapılıp yapılamayacağını soruyor.

Halüsinasyon Nedir?

OpenAI’ın makaleyi özetleyen yazısında, halüsinasyonları “dil modelleri tarafından üretilen makul ancak yanlış ifadeler” olarak tanımlıyor. Şirket, gelişmelere rağmen yapay zekâ halüsinasyonlarının tüm büyük dil modelleri için temel bir zorluk olmaya devam ettiğini ve bu sorunun tamamen ortadan kalkmayacağını kabul ediyor. Makale yazarlarına göre halüsinasyonlar, basit görünen sorularda ortaya çıkabilir.

Örneğin, yaygın olarak kullanılan bir sohbet robotuna Adam Tauman Kalai’nin (bu makalenin yazarlarından biri) doktora tezinin başlığını sorulduğunda, sohbet robotu kendinden emin bir şekilde üç farklı yanlış cevap veriyor. Doğum günü sorulduğunda ise, yine hepsi yanlış olan üç farklı tarih veriyor.

Yapay Zekâ Neden Kendinden Bu Kadar Emin Bir Şekilde Yanılıyor?

Araştırmacılara göre sorun, modellerin eğitimiyle başlıyor. Ön eğitim sürecinde modeller, yalnızca akıcı dil örneklerini görüyor. Bu örneklerde doğru ya da yanlış bilgiyi ayırt etmelerini sağlayacak etiketler bulunmuyor. Görev gereği yalnızca bir sonraki kelimeyi tahmin ediyorlar. Yapay zekâ, bu yöntemle dilin kuralları ve kalıpları kolayca öğreniyor. Ancak “bir kişinin doktora tezinin başlığı nedir?” gibi basit ve özgün sorulara doğru yanıt veremiyor. Model, yanlış bilgi üretse de kendinden emin bir tonla cevap veriyor.

Makale, yapay zeka halüsinasyonlarının yalnızca eğitim süreciyle değil, aynı zamanda değerlendirme yöntemleriyle de ilgili olduğunu vurguluyor. Günümüzde dil modelleri genellikle “doğruluk oranı” üzerinden ölçülüyor. Bu da çoktan seçmeli bir sınavda, cevabı boş bırakmak yerine tahmin yapmaya benziyor. Bu sistem, modelleri “Bilmiyorum.” demek yerine tahmin yapmaya yönlendiriyor. Böylece model, yanlış ama ikna edici cevaplar üretiyor. Araştırmacılar, bu yaklaşımın temelinde yanlış teşvikler olduğunu ve bu yanlış teşviklerin yapay zekânın dürüstlüğüne zarar verdiğini belirtiyor.

Daha Adil Bir Değerlendirme Sistemi

OpenAI’a göre değerlendirme ölçütlerinin yenilenmesi gerekiyor. Bu sorunu çözmek için birkaç “belirsizlik testi” daha eklemek yeterli olmayacak. Ana puanlama sistemleri, tahmin yürütmeyi caydıracak şekilde güncellenmezse, modeller şanslı tahminler yapmaya devam edecek. Bu döngü kırılmadıkça halüsinasyonlarının devam etmesi kaçınılmaz görünüyor.

Yanlış cevapların daha ağır cezalandırılıp belirsizlik içeren dürüst yanıtların kısmen ödüllendirilmesi gerekiyor. Bu yöntem, SAT gibi yıllardır bazı sınavlarda kullanılan “negatif puanlama” veya “boş bırakmaya kısmi puan verme” uygulamalarına benziyor. Böylece modeller bilinçsiz tahminler yapmak yerine belirsizliği kabul edecek.

Yapay Zeka Halüsinasyonları Kaçınılmaz mı?

Araştırmacılar, halüsinasyonların tamamen yok edilemeyeceğini kabul ediyor.  Cevaplanamayan bazı gerçek dünya soruları nedeniyle modelin yetenekleri ne olursa olsun yüzde yüz doğruluğa sahip olamayacak. Ancak modellerin belirsizliği kabul etmesi sağlanırsa, halüsinasyon oranı önemli ölçüde azaltılabilir.

Derleyen: Ceren Yavuz