Yeni araştırmalar, büyük dil modellerinin sunduğu bilgiyi zahmetsiz öğrenmenin cazibesine rağmen, kullanıcıların konuları daha yüzeysel kavramasına yol açabileceğini gösteriyor.
Detaylar haberimizde…
ChatGPT‘nin 2022 sonlarında piyasaya sürülmesinden bu yana, milyonlarca insan bilgiye erişmek için büyük dil modellerini kullanmaya başladı. Ve bu modellerin çekiciliğini anlamak kolay: Bir soru sorun, kusursuz bir sentez elde edin ve devam edin; zahmetsiz bir öğrenme gibi hissettiriyor.
Ancak, yeni bir makale, bu kolaylığın bir bedeli olabileceğine dair deneysel kanıtlar sunuyor: İnsanlar bir konu hakkındaki bilgileri özetlemek için büyük dil modellerine güvendiklerinde, standart bir Google aramasıyla öğrenmeye kıyasla konu hakkında daha yüzeysel bir bilgi edinme eğiliminde oluyorlar.
Pazarlama profesörü olan ortak yazar Jin Ho Yun, bu bulguyu 10.000’den fazla katılımcının yer aldığı yedi çalışmaya dayanan bir makalede sunuyor.
Çalışmaların çoğu aynı temel paradigmayı kullandı: Katılımcılardan bir konu hakkında bilgi edinmeleri istendi – örneğin sebze bahçesi nasıl yetiştirilir – ve bunu ChatGPT gibi bir LLM programı veya standart bir Google araması kullanarak bağlantılarda gezinerek “eski usul” yoluyla yapmaları istendi.
Araçları nasıl kullandıkları konusunda herhangi bir kısıtlama getirilmedi; istedikleri kadar Google’da arama yapabilir ve daha fazla bilgi istediklerinde ChatGPT’yi kullanmaya devam edebilirlerdi.
Araştırmalarını tamamladıktan sonra, öğrendikleri bilgilere dayanarak bir arkadaşlarına konuyla ilgili tavsiye yazmaları istendi.
Veriler tutarlı bir örüntü ortaya koydu: Bir konuyu LLM yoluyla öğrenenler ile web araması yoluyla öğrenenler daha az şey öğrendiklerini, daha sonra tavsiyelerini yazmak için daha az çaba harcadıklarını ve nihayetinde daha kısa, daha az gerçekçi ve daha genel tavsiyeler yazdıklarını hissettiler.
Buna karşılık, bu tavsiye, konuyu öğrenmek için hangi aracın kullanıldığını bilmeyen bağımsız bir okuyucu grubuna sunulduğunda, tavsiyenin daha az bilgilendirici, daha az yararlı olduğunu gördüler ve tavsiyeyi benimseme olasılıkları daha düşüktü.
Bu farklılıkların çeşitli bağlamlarda güçlü olduğunu gördük. Örneğin, LLM kullanıcılarının daha kısa ve daha genel tavsiyeler yazmasının olası bir nedeni, LLM sonuçlarının kullanıcıları Google sonuçlarına göre daha az çeşitli bilgilere maruz bırakması.
Bu olasılığı kontrol etmek için, katılımcıların Google ve ChatGPT aramalarının sonuçlarında aynı gerçeklere maruz bırakıldığı bir deney gerçekleştirildi.
Benzer şekilde, başka bir deneyde, arama platformu Google’ı sabit tuttuldı ve katılımcıların standart Google sonuçlarından mı yoksa Google’ın Yapay Zeka Genel Bakış özelliğinden mi öğrendikleri gözlemlendi.
Bulgular, gerçekler ve platform sabit tutulduğunda bile, sentezlenmiş LLM yanıtlarından öğrenmenin, standart web bağlantıları aracılığıyla kendi kendine bilgi toplamaya, yorumlamaya ve sentezlemeye kıyasla daha yüzeysel bir bilgiye yol açtığını doğruladı.
Neden Önemli?
Hukuk alanında lisans programlarının kullanımı neden öğrenmeyi azaltıyor gibi görünüyor? Beceri geliştirmenin en temel ilkelerinden biri, insanların öğrenmeye çalıştıkları materyalle aktif olarak meşgul olduklarında en iyi şekilde öğrendikleri.
Google araması yoluyla bir konu hakkında bilgi edindiğimizde çok daha fazla “sürtünme” ile karşı karşıya kalırız: Farklı web bağlantılarında gezinmeli, bilgi kaynaklarını okumalı ve bunları kendimiz yorumlayıp sentezlemeliyiz.
Daha zorlayıcı olsa da, bu sürtüşme, ele alınan konunun daha derin ve daha özgün bir zihinsel temsilinin gelişmesine yol açıyor. Ancak Hukuk Yüksek Lisansı (LL.M.) programlarında, tüm bu süreç kullanıcı adına gerçekleştirilir ve öğrenmeyi daha aktif bir süreçten pasif bir sürece dönüştürür.
Sıradaki Ne?
Bu sorunların çözümünün, özellikle de birçok bağlamda sundukları yadsınamaz faydalar göz önüne alındığında, LLM’leri kullanmaktan kaçınmak çözüm değil.
Aslında, mesaj şu: İnsanların LLM’leri daha akıllı veya daha stratejik bir şekilde kullanmaları gerekiyor; bu da LLM’lerin hedeflerine hangi alanlarda faydalı, hangi alanlarda zararlı olduğunu anlamakla başlıyor.
Bir soruya hızlı ve gerçekçi bir cevaba mı ihtiyacınız var? En sevdiğiniz yapay zeka yardımcı pilotunu kullanmaktan çekinmeyin. Ancak amacınız bir alanda derin ve genelleştirilebilir bilgi geliştirmekse, yalnızca LLM sentezlerine güvenmek daha az faydalı olacak.
Başka bir deneyde, katılımcıların sentezlenmiş yanıtlarının yanı sıra gerçek zamanlı web bağlantıları da sunan özel bir GPT modeliyle etkileşime girmesini sağlayarak sonuçlar gözlemlendi.
Ancak, katılımcıların bir LLM özeti aldıktan sonra orijinal kaynakları daha derinlemesine incelemeye motive olmadıkları ortaya çıktı. Sonuç olarak, katılımcılar standart Google kullananlara kıyasla daha yüzeysel bir bilgi geliştirdiler.
Bu tür araçlar, özellikle ortaöğretimde kritik görünüyor; çünkü eğitimciler için en büyük zorluk, öğrencileri temel okuma, yazma ve matematik becerilerini geliştirmeleri için en iyi şekilde nasıl donatacakları ve aynı zamanda LLM’lerin günlük yaşamlarının ayrılmaz bir parçası olma ihtimalinin yüksek olduğu gerçek bir dünyaya nasıl hazırlayacakları.
Derleyen: Damla Şayan
