Araştırmacılar, ChatGPT’nin Arama Yanıtlarının Güvenilirliğini Sorguluyor

• Columbia araÅŸtırması, ChatGPT’nin sıkça yanlış bilgi ve kaynak hatası yaptığını ortaya koydu.
• Yanlış atıflar, içerik üreticilerinin güvenilirliÄŸini tehlikeye atıyor.
• OpenAI, sonuçları geliÅŸtirmek için çalışacağını belirtti.

Columbia’nın Tow Dijital Gazetecilik Merkezi tarafından yeni yayınlanan bir araÅŸtırmaya göre, ChatGPT Search kullanıcılarının sorgularına doÄŸru yanıtlar saÄŸlamakta zorlanıyor. AraÅŸtırmacılar, üç kategorinin her birinden 20 yayın seçti: ChatGPT Search sonuçlarında içeriklerini kullanmak için OpenAI ile ortaklık kuranlar, OpenAI’ye karşı açılan davalara dahil olanlar ve ChatGPT’nin tarayıcısına izin veren veya onu engelleyen bağımsız yayıncılar.

AraÅŸtırmacılar, “Her yayıncıdan 10 makale seçtik ve belirli alıntılar çıkardık,” diye yazdı. “Bu alıntılar, Google veya Bing gibi arama motorlarına girildiÄŸinde, kaynak makaleyi ilk üç sonuç arasında güvenilir bir ÅŸekilde döndürdükleri için seçildi. Daha sonra ChatGPT’nin yeni arama aracının her alıntı için orijinal kaynağı doÄŸru bir ÅŸekilde belirleyip belirlemediÄŸini deÄŸerlendirdik.”

Alıntıların kırk tanesi ÅŸu anda OpenAI kullanan ve içeriklerinin taranmasına izin vermeyen yayınlardan alınmıştır. Ancak bu, ChatGPT Search’ün yine de güvenle bir cevabı halüsinasyona uÄŸratmasını engellemedi.

Çalışmada, “Toplamda, ChatGPT yüz elli üç durumda kısmen veya tamamen yanlış yanıtlar döndürdü, ancak yalnızca yedi kez bir sorguya doÄŸru yanıt veremediÄŸini kabul etti,” bulundu. “Sadece bu yedi çıktıda, sohbet robotu ‘görünüyor’, ‘mümkün’ veya ‘olabilir’ gibi niteleyici sözcükler ve ifadeler veya ‘Tam makaleyi bulamadım’ gibi ifadeler kullandı.”

ChatGPT Search’ün gerçeÄŸi söylemeye yönelik umursamaz tavrı yalnızca kendi itibarına deÄŸil, atıfta bulunduÄŸu yayıncıların itibarına da zarar verebilir. Çalışma sırasında yapılan bir testte, yapay zeka bir Time haberini Orlando Sentinel tarafından yazılmış gibi yanlış bir ÅŸekilde atfetti. BaÅŸka bir testte, yapay zeka doÄŸrudan bir New York Times parçasına deÄŸil, haber makalesini toptan kopyalayan üçüncü taraf bir web sitesine baÄŸlantı verdi.

OpenAI ise ÅŸaşırtıcı olmayan bir ÅŸekilde, çalışmanın sonuçlarının Columbia’nın testleri yanlış yapmasından kaynaklandığını savundu.

OpenAI, Columbia Gazetecilik Ä°ncelemesi’ne savunmasında “Tow Merkezi’nin sakladığı veriler ve metodoloji olmadan yanlış atıf sorununu çözmek zor” dedi  ve “Çalışma, ürünümüzün alışılmadık bir testini temsil ediyor.” Åžirket “arama sonuçlarını geliÅŸtirmeye devam etme” sözü veriyor.

Derleyen: Yağmur Aydın