- Geçtiğimiz hafta Google’ın yeni “AI Overviews” özelliği yaptığı hatalardan dolayı viral oldu.
- Google başlangıçta sorunları küçümseyerek, AI Overviews’in yüksek kalitesinden bahsetti ve hatta örneklerinin bazılarının sahte olduğunu söyledi.
- Uzmanlara göre Google’ın yapay zeka arama sorunu asla tam olarak çözülemeyebilir.
Heyecan verici yeni bir teknoloji özelliğinin bazı hatalarla piyasaya çıkması alışılmadık bir durum değil. Ancak beş yapay zeka uzmanının Salı günü Tech Brief’e verdiği demece göre, Google’ın yapay zeka destekli yeni arama yanıtlarıyla ilgili sorunların en azından bir kısmı yakın zamanda düzeltilemeyebilir.
Geçtiğimiz hafta Google’ın yeni “AI Overviews” özelliği yaptığı hatalardan dolayı viral oldu. Çevrimiçi aramanın geleceği olarak lanse edilen bu özellik – Google’ın yazılımının ilgili web sitelerine bağlantı vermek yerine kullanıcının sorusunu doğrudan yanıtladığı – saçma cevaplardan tehlikelilere kadar değişen bir dizi yanıt ortaya çıkardı. (Hayır, hayır, jeologlar günde bir küçük taş yemenizi önermiyor ve lütfen pizzanıza yapıştırıcı koymayın).
Google başlangıçta sorunları küçümseyerek, AI Overviews’in yanıtlarının büyük çoğunluğunun “yüksek kaliteli” olduğunu söyledi ve sosyal medyada dolaşan bazı örneklerin muhtemelen sahte olduğunu belirtti. Ancak şirket aynı zamanda sorunlu sonuçların en azından bir kısmını manuel olarak kaldırdığını da kabul etti ki bu, günde milyarlarca sorgu alan bir site için zahmetli bir süreç.
Sözcü Ned Adriance Salı günü yaptığı açıklamada, “AI Overviews, web’in dört bir yanından gelen sonuçlarla desteklenen ve daha fazla bilgi edinmek için belirgin bağlantılar içeren yüksek kaliteli bilgileri ortaya çıkarmak için tasarlanmıştır” dedi. “Arama’da kullanıma sunduğumuz diğer özelliklerde olduğu gibi, sistemlerimizde daha kapsamlı iyileştirmeler geliştirmemize yardımcı olacak geri bildirimleri kullanıyoruz ve bunlardan bazıları halihazırda kullanıma sunulmaya başlandı.”
Bu, yapay zeka cevaplarıyla ilgili sorunların basit bir yazılım güncellemesinin çözebileceğinden daha derinlere indiğinin bir işareti.
Booch “Büyük dil modelleri doğal olarak güvenilmezler”
Ünlü bilgisayar bilimcisi Grady Booch, “Tüm büyük dil modelleri, mimarilerinin doğası gereği, telafi edilemez bir şekilde güvenilmezdir” dedi. Temel düzeyde, kulağa tutarlı gelen yanıtlar üretmek üzere tasarlanmışlardır – doğru yanıtlar değil. “Bu nedenle, basitçe ‘düzeltilemezler'” dedi, çünkü bir şeyler uydurmak “çalışma şekillerinin kaçınılmaz bir özelliğidir.”
Booch’a göre, soruları yanıtlamak için geniş bir dil modeli kullanan şirketler en iyi ihtimalle “bu çılgınlığa karşı önlem” alabilirler. Ya da “en korkunç yalanlarının üzerini kapatmak için muazzam miktarda ucuz insan emeği harcayabilirler.” Ancak Booch, Google ve diğer teknoloji şirketleri arama sorgularını yanıtlamak için üretken yapay zekayı kullandıkları sürece hatalı yanıtların devam edeceğini öngörüyor.
Princeton’da bilgisayar bilimleri profesörü olan Arvind Narayanan, “büyük dil modellerinin yanlış bilgi üretme eğiliminin yakın gelecekte düzeltilemeyeceği” konusunda hemfikir. Ancak Google’ın “AI Overview özelliği ile düşük kaliteli web sayfalarından özet sonuçları çekmek gibi önlenebilir hatalar” yaptığını da söylüyor.
AI Overviews ile Google, dil modellerinin uydurma konusundaki iyi bilinen eğilimini, belirli kaynakları alıntılamalarını ve özetlemelerini sağlayarak ele alarak engellemeye çalışıyor.
Ancak Santa Fe Enstitüsü’nde karmaşık sistemler üzerine araştırmalar yapan profesör Melanie Mitchell, bunun yine de çeşitli şekillerde yanlış gidebileceğini söylüyor. Bunlardan biri, belki de bağlamı anlayamadığı için sistemin belirli bir kaynağın soruya güvenilir bir yanıt verip vermediğini her zaman söyleyememesi. Bir diğeri ise, iyi bir kaynak bulduğunda bile, o kaynağın ne söylediğini yanlış yorumlayabilmesi.
Bu sadece Google’ın sorunu değil diyor Mitchell. OpenAI’nin ChatGPT’si veya Perplexity gibi diğer yapay zeka araçları Google’ın verdiği cevapları yanlış vermeyebilir. Ancak Google’ın doğru yaptığı bazı yanlışları da yapabilirler. Mitchell’e göre bunu çok daha güvenilir bir şekilde yapacak yapay zeka henüz mevcut değil.
Yine de, sorunun bazı kısımları diğerlerine göre daha tolere edilebilir olabilir.
Washington Üniversitesi’nde makine öğrenimi alanında doktora sonrası araştırmacı olan Niloofar Mireshghallah, bir dil modelinin eğitim verilerinde olmayan bir şeyi uydurduğu “halüsinasyon” sorununun “çözülmemiş” olduğunu söyledi. Ancak sistemin yalnızca güvenilir kaynaklardan yararlandığından emin olmanın, üretken bir yapay zeka sorunundan çok geleneksel bir arama sorunu olduğunu da sözlerine ekledi. Miresharghallah, bu sorunun kısmen doğruluk kontrol mekanizmaları eklenerek “düzeltilebileceğini” söyledi.
Northeastern Üniversitesi’ndeki Deneyimsel Yapay Zeka Enstitüsü’nün yönetici direktörü Usama Fayyad, YZ Genel Bakışlarının arama sonuçlarında daha az öne çıkmasının da yardımcı olabileceğini belirtti.
Mitchell, Google’ın yanıtlarının iyileşmesini beklediğini, ancak bunun gerçekten güvenilir bir yol olup olmadığını bilmediğini söyledi.
Mitchell, “Yanıtların büyük bir çoğunluğun doğru olduğunu söylediklerinde onlara inanıyorum, ancak sistemleri her gün milyonlarca ve milyonlarca insan tarafından kullanılıyor. Dolayısıyla, çok kötü bir şekilde yanlış yaptığı vakalar olacak ve bunun bir tür zarara neden olacak vakalar kaçınılmazdır.”
Narayanan, şirketin “bu karmaşadan çıkmanın en kolay yolunun” en yaygın milyonlarca arama sorgusu için ben robot değilim doğruluk kontrolörlerine yatırım yapmak olabileceğini söyledi. “Esasen Google, arama motoru kılığına bürünmüş bir içerik çiftliğine dönüşecek ve düşük ücretli insan emeğini yapay zeka damgasıyla aklayacaktır.”
Google’ın CEO’su Sundar Pichai bile sorunu kabul etti.
Geçen hafta Verge’e verdiği bir röportajda Pichai, büyük dil modellerinin yalan söyleme eğiliminin bazı yönlerden “doğal bir özellik” olduğunu ve bu nedenle “her zaman gerçekliğe ulaşmak için en iyi yaklaşım olmadıklarını” söyledi.
Ancak bunları bir arama motoruna yerleştirmenin, kullanıcıları orijinal kaynağa yönlendirirken cevaplarını gerçekliğe “dayandırmaya” yardımcı olabileceğini de sözlerine ekledi. “Tüm çabalarımıza rağmen yine de yanlış yaptığı zamanlar olacaktır, ancak buna bakıp aynı zamanda ne kadar yararlı olabileceğini küçümseyeceğimi sanmıyorum.”
Derleyen: Berk Katık
