• Avustralyalı araştırmacılar, kullanıcıların başına küçük bir başlık şeklinde yerleştirilen yeni bir teknoloji ile zihinden geçenleri kelimelere dökmeyi başardı.
• DeWave adı verilen bu teknoloji, zihinden geçenleri kelimelere dökerken fiillerde çok az hata yapıyor. Ancak isimlerde, zihinden geçen ana düşünce yerine bu düşüncenin yerini tutabilecek benzer bir kelime kullanarak hatalar verebiliyor.
• Araştırmacılar çalışmayı ilerleterek felç ve inme hastalarının çevresindekilerle iletişime geçebilmesini ve insanlığın teknolojik cihazlarla zihinsel bağ kurulabilmesini sağlamayı amaçlıyor.

Dünyada bir ilk olarak invaziv olmayan bir yapay zeka sistemi, yalnızca küçük bir başlık aracılığıyla kullanıcıların akıllarından geçenleri metne dönüştürebiliyor. DeWave adı verilen teknolojiyi, geliştiren Avustralyalı araştırmacılar, iki düzineden fazla denekten elde edilen verileri kullanarak süreci test etti. Katılımcılar, beyin dalgalarını elektroensefalogram (EEG) yoluyla kaydeden ve bunları metne dönüştüren bir başlık takarken sessizce verilen metinleri okudu.

DeWave, Sydney Teknoloji Üniversitesi (UTS) bilgisayar bilimci Chin-Teng Lin ve meslektaşları tarafından yürütülen deneylerde iki ölçüm setinden birine dayalı olarak yalnızca %40’ın biraz üzerinde doğruluk elde etti. Bu, EEG kayıtlarından düşünce çevirisi için önceki standarda göre %3’lük bir gelişme.

Araştırmacıların hedefi, doğruluk oranını geleneksel dil çevirisi yöntemleri ya da konuşma tanıma yazılımlarıyla aynı seviyeye, yani yaklaşık %90’a çıkarmak. Beyin sinyallerini dile çevirmenin diğer yöntemleri, elektrotları yerleştirmek için invaziv ameliyatlar veya hantal, pahalı MRI makineleri gerektirdiğinden günlük kullanım için pratik değil.  

Beyin sinyallerini kelime düzeyinde parçalara dönüştürmek için genellikle göz takibi kullanması gerekiyor. Bir kişinin gözleri bir kelimeden diğerine geçtiğinde, beyninin her kelimeyi işlemek için kısa bir ara verdiği varsayılabilir. Ham EEG dalgalarını kelimelere çevirmek, ilgili kelime hedefini gösteren göz takibi olmadan zor. Farklı insanlardan gelen beyin dalgalarının hepsi kelimeler arasındaki aralıkları aynı değil. Bu da yapay zekanın bireysel düşünceleri yorumlamasını zorlaştırıyor.

Kapsamlı bir eğitimden sonra DeWave’in kodlayıcısı, EEG dalgalarını bir koda dönüştürmeyi başardı. Dönüştürülen kodlar DeWave’in kod kitabındaki girişlere ne kadar yakın olduklarına bağlı olarak belirli kelimelerle eşleştirilebildi. Lin, “Bu, beyinden metne çeviri sürecine ayrık kodlama tekniklerini dahil eden ve sinirsel kod çözmeye yenilikçi bir yaklaşım getiren ilk sistem. Büyük dil modelleriyle entegrasyon da sinir bilim ve yapay zekada yeni sınırlar açıyor.” diyerek sistem hakkında açıklamada bulundu.

Lin ve ekibi, GPT ile BERT adı verilen bir sistemin kombinasyonunu içeren eğitimli dil modellerini kullandı. Ekip, metin okurken göz izleme ve beyin aktivitesi kaydedilen kişilerin mevcut veri kümeleri üzerinde test gerçekleştirdi. Bu, sistemin beyin dalgası kalıplarını kelimelerle eşleştirmeyi öğrenmesine yardımcı oldu. Ardından DeWave, esasen kelimelerden cümleler oluşturan açık kaynaklı büyük bir dil modeliyle daha eğitildi. DeWave en iyi performansı fiillerin çevirisinde gösterdi. Öte yandan isimler, “yazar” yerine “adam” gibi tam çevirilerden ziyade aynı anlama gelen kelime çiftleri olarak çevrilme eğilimindeydi.

UTS’de bir bilgisayar bilimcisi olan çalışmanın ilk yazarı Yiqun Duan, “Yapılan kelime hatalarının, beynin bu kelimeleri işlerken, anlamsal olarak benzer kelimelerin benzer beyin dalgası kalıpları üretebileceğinden kaynaklandığını düşünüyoruz. Zorluklara rağmen, modelimiz anahtar kelimeleri hizalayarak ve benzer cümle yapıları oluşturarak anlamlı sonuçlar veriyor.” dedi.

Test edilen örneklem boyutu, insanların EEG dalga dağılımlarının büyük ölçüde farklılık gösterdiği gerçeğini ele alıyor. Yine de veriler araştırmanın yalnızca çok küçük örneklemler üzerinde test edilen önceki teknolojilerden daha güvenilir olduğunu gösteriyor. Yapılması gereken daha çok iş var. Örneğin, EEG sinyalleri beyne yerleştirilen elektrotlar yerine bir başlık aracılığıyla alındığında sinyal oldukça gürültülü oluyor. DeWave, daha da geliştirilerek felç ve inme hastalarının iletişim kurmasına yardımcı olabilir ve insanların biyonik kollar veya robotlar gibi makineleri yönlendirmesini kolaylaştırabilir.

Lin, “Bu araştırma, ham EEG dalgalarını doğrudan dile çevirme konusunda öncü bir çabayı temsil ediyor ve bu, alanda önemli bir atılım anlamına geliyor.” diyor. Ekip ayrıca, “Düşüncelerin doğrudan beyinden tercüme edilmesi, devam eden önemli çabaları gerektiren değerli ancak zorlu bir çaba. Büyük Dil Modellerinin hızla ilerlemesi göz önüne alındığında, beyin aktivitesi ile doğal dil arasında köprü kuran benzer kodlama yöntemleri daha fazla ilgiyi hak ediyor.” diyerek ilerlemeye devam edilmesi gerektiğini belirtiyor.

Araştırma NeurIPS 2023 konferansında sunuldu ve ArXiv‘de bir ön baskı mevcut.

Derleyen: Fatma Ebrar Tuncel