Yapay Zeka İlk Kez Bir Uzman Kadar İyi Dil Analizi Yapıyor

İnsanların sahip olduğu sayısız yetenek arasında hangileri yalnızca insanlara özgü? Dil, en azından Aristoteles’ten beri en güçlü adaylardan biri oldu; Aristoteles, insanlığın “dile sahip hayvan” olduğunu yazdı.

ChatGPT gibi büyük dil modelleri sıradan konuşmayı yüzeysel olarak taklit etse de, araştırmacılar insan dilinin diğer hayvanların veya yapay zekâ cihazlarının iletişim sistemlerinde hiçbir benzeri olmayan belirli yönlerinin olup olmadığını öğrenmek istiyorlar.

Özellikle araştırmacılar, dil modellerinin dilin kendisi hakkında ne ölçüde akıl yürütebileceğini araştırıyorlar. Dilbilim camiasındaki bazılarına göre, dil modelleri sadece akıl yürütme yeteneğine sahip değiller, aynı zamanda sahip olamazlar da. Bu görüş, önde gelen dilbilimci Noam Chomsky ve iki ortak yazarı tarafından 2023 yılında The New York Times’da yazılan bir makalede özetlendi: “Dilin doğru açıklamaları karmaşıktır ve sadece büyük verilerde bekletilerek öğrenilemez.” Bu araştırmacılar, yapay zeka modellerinin dili kullanmada yetenekli olabileceğini, ancak dilin karmaşık bir şekilde analizini yapabilme yeteneğine sahip olmadığını savundular.

Bu görüş, Kaliforniya Üniversitesi, Berkeley’de dilbilimci olan Gašper Beguš, yakın zamanda Berkeley’de dilbilim alanında doktora derecesini alan Maksymilian Dąbkowski ve Rutgers Üniversitesi’nden Ryan Rhodes tarafından yayınlanan yeni bir makalede sorgulandı.

Araştırmacılar, bir dizi büyük dil modelini (LLM) bir dizi dilbilimsel teste tabi tuttular; bunlardan birinde, LLM’nin uydurma bir dilin kurallarını genelleştirmesi istendi. LLM’lerin çoğu, insanların yapabildiği şekilde dilbilimsel kuralları çözümlemekte başarısız olurken, bir tanesi beklentileri büyük ölçüde aşan etkileyici yeteneklere sahipti. Dilbilim alanında yüksek lisans öğrencisinin yapacağı gibi dil analizi yapabiliyordu; cümleleri şematize edebiliyor, birden fazla belirsiz anlamı çözebiliyor ve özyineleme gibi karmaşık dilbilimsel özelliklerden yararlanabiliyordu. Beguš, bu bulgunun “yapay zekanın neler yapabileceğine dair anlayışımızı sorguladığını” söyledi.

Yale Üniversitesi’nde hesaplamalı dilbilimci olan ve araştırmaya dahil olmayan Tom McCoy, bu yeni çalışmanın hem zamanında yapıldığını hem de “çok önemli” olduğunu söyledi. “Toplum bu teknolojiye daha bağımlı hale geldikçe, nerede başarılı olabileceğini ve nerede başarısız olabileceğini anlamak giderek daha önemli hale geliyor.” Dilbilimsel analizin, bu dil modellerinin insanlar gibi akıl yürütme derecesini değerlendirmek için ideal bir test ortamı olduğunu da ekledi.

Dil Analizi: Sonsuz Karmaşıklık

Dil modellerine titiz bir dilbilimsel test uygulamanın zorluklarından biri, cevapları zaten bilmediklerinden emin olmak. Modeller, teorik olarak, eğitim sırasında kendilerine verilen bilgileri ezberleyip tekrarlayabilirler.

Bunu önlemek için Beguš ve meslektaşları dört bölümden oluşan bir dilbilimsel test oluşturdular. Dört bölümün üçü, modelden, Chomsky’nin 1957 tarihli dönüm noktası niteliğindeki kitabı Sözdizimsel Yapılar’da ilk kez tanıtılan ağaç diyagramlarını kullanarak özel olarak hazırlanmış cümlelerin analizini istemeyi içeriyordu. Bu diyagramlar cümleleri isim öbeklerine ve fiil öbeklerine ayırır ve daha sonra bunları isimlere, fiillere, sıfatlara, zarflara, edatlara, bağlaçlara vb. daha da alt bölümlere ayırır.

Testin bir bölümü özyinelemeye odaklandı; yani öbeklerin öbekler içinde yerleştirilmesi yeteneğine. “Gökyüzü mavidir” basit bir cümle. “Jane, gökyüzünün mavi olduğunu söyledi” cümlesi, orijinal cümleyi biraz daha karmaşık bir cümlenin içine yerleştirir. Önemli olan, bu yinelemeli sürecin sonsuza kadar devam edebilmesi: “Maria, Sam’in Omar’ın Jane’in gökyüzünün mavi olduğunu söylediğini duyduğunu bilip bilmediğini merak etti” cümlesi de dilbilgisel olarak doğru, ancak biraz garip bir yinelemeli cümle.

Özyineleme, Chomsky ve diğerleri tarafından insan dilinin tanımlayıcı özelliklerinden biri olarak adlandırıldı. Dilbilimciler, sınırsız potansiyelinin, insan dillerine sonlu bir kelime dağarcığı ve sonlu bir kural kümesinden sonsuz sayıda olası cümle üretme yeteneği kazandırdığını savunurlar. Şimdiye kadar, diğer hayvanların özyinelemeyi karmaşık bir şekilde kullanabildiğine dair ikna edici bir kanıt yok.

Özyineleme bir cümlenin başında veya sonunda meydana gelebilir, ancak ustalaşması en zor olan biçim, merkez yerleştirme olarak adlandırılan ve ortada gerçekleşen biçim; örneğin, “kedi öldü”den “köpeğin ısırdığı kedi öldü”ye geçiş gibi.

Beguš’un testi, dil modellerine özyinelemenin zorlu örneklerini içeren 30 orijinal cümle verdi. Örneğin: “Saygı duyduğumuz eskilerin incelediği astronomi, astrolojiden ayrı değildi.” Sözdizimsel bir ağaç kullanarak, dil modellerinden biri -OpenAI’nin o1’i- cümlenin şu şekilde yapılandırıldığını belirleyebildi:

[Eski çağlarda saygı duyduğumuz] astronomi, astrolojiden ayrı değildi.

Model daha sonra bir adım daha ileri giderek cümleye bir özyineleme katmanı daha ekledi:

[Saygı duyduğumuz eski çağ insanlarının [değer verdiğimiz topraklarda yaşamış olanların] incelediği astronomi, astrolojiden ayrı değildi.

Beguš, diğerlerinin yanı sıra, bu çalışmanın daha üst düzey bir “metadilsel” kapasiteye sahip bir yapay zeka modeliyle karşılaşacağını tahmin etmemişti; Beguš’un ifadesiyle, bu kapasite “sadece bir dili kullanmak değil, dil hakkında düşünmek” yeteneğidir.

Carnegie Mellon Üniversitesi’nde hesaplamalı dilbilimci olan ve çalışmaya dahil olmayan David Mortensen, bunun makalenin “dikkat çekici” yönlerinden biri olduğunu söyledi. Dil modellerinin sadece bir cümledeki bir sonraki kelimeyi (veya dilsel belirteci) tahmin edip etmediği konusunda tartışmalar vardı; bu, insanların sahip olduğu derin dil anlayışından niteliksel olarak farklı. Mortensen, “Dilbilimdeki bazı kişiler, dil modellerinin aslında dil yapmadığını söyledi. Bu, bu iddiaların geçersiz kılınması gibi görünüyor.” dedi.

Tüm Bunlar Ne Demek?

McCoy, genel olarak o1’in performansına, özellikle de belirsizliği tanıma yeteneğine şaşırdı; bu, “dilin hesaplamalı modellerinin yakalaması zor bir şey. İnsanlar “belirsizliği ortadan kaldırmamızı sağlayan birçok sağduyu bilgisine sahip. Ancak bilgisayarların bu düzeyde sağduyu bilgisine sahip olması zor.” dedi.

Araştırmacılar ayrıca fonolojiyle ilgili deneyler de gerçekleştirdiler; fonoloji, seslerin örüntüsünün ve fonem adı verilen en küçük ses birimlerinin nasıl organize edildiğinin incelenmesi. Anadili gibi akıcı bir şekilde konuşmak için insanlar, açıkça öğretilmeden pratik yaparak edindikleri fonolojik kurallara uyarlar. Örneğin, İngilizcede “g” ile biten bir kelimeye “s” eklemek “dogs” kelimesinde olduğu gibi “z” sesi oluşturur. Ancak “t” ile biten bir kelimeye eklenen “s”, “cats” kelimesinde olduğu gibi standart bir “s” gibi ses çıkarır.

Tıpkı Bir İnsan Gibi mi Yoksa Değil mi?

Bu dil modelleri ne kadar ileri gidebilir? Daha fazla işlem gücü, daha fazla karmaşıklık ve daha fazla eğitim verisi ekleyerek, sınırsız bir şekilde daha iyi hale gelecekler mi? Yoksa insan dilinin bazı özellikleri, türümüzle sınırlı bir evrimsel sürecin sonucu mu?

Sonuçlar, bu modellerin prensipte karmaşık dilbilimsel analizler yapabileceğini gösteriyor. Ancak henüz hiçbir model özgün bir şey ortaya koymadı veya bize daha önce bilmediğimiz bir dil bilgisi öğretmedi.

Eğer gelişme sadece hem hesaplama gücünü hem de eğitim verilerini artırmakla ilgiliyse, Beguš dil modellerinin sonunda dil becerilerinde bizi geçeceğini düşünüyor. Mortensen, mevcut modellerin biraz sınırlı olduğunu söyledi. “Çok spesifik bir şey yapmak üzere eğitiliyorlar: bir kelime geçmişi verildiğinde, bir sonraki kelimeyi tahmin etmek. Eğitim şekilleri nedeniyle genelleme konusunda bazı sorunlar yaşıyorlar.” dedi.

Ancak son gelişmeler ışığında, Mortensen dil modellerinin sonunda kendi dilimizden daha iyi bir anlayış sergilemeyeceğinin nedenini göremiyor. “Daha az veriyle daha yaratıcı bir şekilde daha iyi genelleme yapabilen modeller oluşturmamız sadece zaman meselesi.”

Beguš, yeni sonuçların, insan dilinin münhasır alanı olarak kabul edilen özelliklerde istikrarlı bir “aşınma” gösterdiğini söyledi. “Görünüşe göre daha önce düşündüğümüzden daha az benzersiziz.”

Derleyen: Damla Şayan