- Columbia araştırması, ChatGPT’nin sıkça yanlış bilgi ve kaynak hatası yaptığını ortaya koydu.
- Yanlış atıflar, içerik üreticilerinin güvenilirliğini tehlikeye atıyor.
- OpenAI, sonuçları geliştirmek için çalışacağını belirtti.
Columbia’nın Tow Dijital Gazetecilik Merkezi tarafından yeni yayınlanan bir araştırmaya göre, ChatGPT Search kullanıcılarının sorgularına doğru yanıtlar sağlamakta zorlanıyor. Araştırmacılar, üç kategorinin her birinden 20 yayın seçti: ChatGPT Search sonuçlarında içeriklerini kullanmak için OpenAI ile ortaklık kuranlar, OpenAI’ye karşı açılan davalara dahil olanlar ve ChatGPT’nin tarayıcısına izin veren veya onu engelleyen bağımsız yayıncılar.
Araştırmacılar, “Her yayıncıdan 10 makale seçtik ve belirli alıntılar çıkardık,” diye yazdı. “Bu alıntılar, Google veya Bing gibi arama motorlarına girildiğinde, kaynak makaleyi ilk üç sonuç arasında güvenilir bir şekilde döndürdükleri için seçildi. Daha sonra ChatGPT’nin yeni arama aracının her alıntı için orijinal kaynağı doğru bir şekilde belirleyip belirlemediğini değerlendirdik.”
Alıntıların kırk tanesi şu anda OpenAI kullanan ve içeriklerinin taranmasına izin vermeyen yayınlardan alınmıştır. Ancak bu, ChatGPT Search’ün yine de güvenle bir cevabı halüsinasyona uğratmasını engellemedi.
Çalışmada, “Toplamda, ChatGPT yüz elli üç durumda kısmen veya tamamen yanlış yanıtlar döndürdü, ancak yalnızca yedi kez bir sorguya doğru yanıt veremediğini kabul etti,” bulundu. “Sadece bu yedi çıktıda, sohbet robotu ‘görünüyor’, ‘mümkün’ veya ‘olabilir’ gibi niteleyici sözcükler ve ifadeler veya ‘Tam makaleyi bulamadım’ gibi ifadeler kullandı.”
ChatGPT Search’ün gerçeği söylemeye yönelik umursamaz tavrı yalnızca kendi itibarına değil, atıfta bulunduğu yayıncıların itibarına da zarar verebilir. Çalışma sırasında yapılan bir testte, yapay zeka bir Time haberini Orlando Sentinel tarafından yazılmış gibi yanlış bir şekilde atfetti. Başka bir testte, yapay zeka doğrudan bir New York Times parçasına değil, haber makalesini toptan kopyalayan üçüncü taraf bir web sitesine bağlantı verdi.
OpenAI ise şaşırtıcı olmayan bir şekilde, çalışmanın sonuçlarının Columbia’nın testleri yanlış yapmasından kaynaklandığını savundu.
OpenAI, Columbia Gazetecilik İncelemesi’ne savunmasında “Tow Merkezi’nin sakladığı veriler ve metodoloji olmadan yanlış atıf sorununu çözmek zor” dedi ve “Çalışma, ürünümüzün alışılmadık bir testini temsil ediyor.” Şirket “arama sonuçlarını geliştirmeye devam etme” sözü veriyor.
Derleyen: Yağmur Aydın
