- Avustralyalı araştırmacılar, kullanıcıların başına küçük bir başlık şeklinde yerleştirilen yeni bir teknoloji ile zihinden geçenleri kelimelere dökmeyi başardı.
- DeWave adı verilen bu teknoloji, zihinden geçenleri kelimelere dökerken fiillerde çok az hata yapıyor. Ancak isimlerde, zihinden geçen ana düşünce yerine bu düşüncenin yerini tutabilecek benzer bir kelime kullanarak hatalar verebiliyor.
- Araştırmacılar çalışmayı ilerleterek felç ve inme hastalarının çevresindekilerle iletişime geçebilmesini ve insanlığın teknolojik cihazlarla zihinsel bağ kurulabilmesini sağlamayı amaçlıyor.
Dünyada bir ilk olarak invaziv olmayan bir yapay zeka sistemi, yalnızca küçük bir başlık aracılığıyla kullanıcıların akıllarından geçenleri metne dönüştürebiliyor. DeWave adı verilen teknolojiyi, geliştiren Avustralyalı araştırmacılar, iki düzineden fazla denekten elde edilen verileri kullanarak süreci test etti. Katılımcılar, beyin dalgalarını elektroensefalogram (EEG) yoluyla kaydeden ve bunları metne dönüştüren bir başlık takarken sessizce verilen metinleri okudu.
DeWave, Sydney Teknoloji Ãœniversitesi (UTS) bilgisayar bilimci Chin-Teng Lin ve meslektaÅŸları tarafından yürütülen deneylerde iki ölçüm setinden birine dayalı olarak yalnızca %40’ın biraz üzerinde doÄŸruluk elde etti. Bu, EEG kayıtlarından düşünce çevirisi için önceki standarda göre %3’lük bir geliÅŸme.
AraÅŸtırmacıların hedefi, doÄŸruluk oranını geleneksel dil çevirisi yöntemleri ya da konuÅŸma tanıma yazılımlarıyla aynı seviyeye, yani yaklaşık %90’a çıkarmak. Beyin sinyallerini dile çevirmenin diÄŸer yöntemleri, elektrotları yerleÅŸtirmek için invaziv ameliyatlar veya hantal, pahalı MRI makineleri gerektirdiÄŸinden günlük kullanım için pratik deÄŸil.

Beyin sinyallerini kelime düzeyinde parçalara dönüştürmek için genellikle göz takibi kullanması gerekiyor. Bir kişinin gözleri bir kelimeden diğerine geçtiğinde, beyninin her kelimeyi işlemek için kısa bir ara verdiği varsayılabilir. Ham EEG dalgalarını kelimelere çevirmek, ilgili kelime hedefini gösteren göz takibi olmadan zor. Farklı insanlardan gelen beyin dalgalarının hepsi kelimeler arasındaki aralıkları aynı değil. Bu da yapay zekanın bireysel düşünceleri yorumlamasını zorlaştırıyor.
Kapsamlı bir eÄŸitimden sonra DeWave’in kodlayıcısı, EEG dalgalarını bir koda dönüştürmeyi baÅŸardı. Dönüştürülen kodlar DeWave’in kod kitabındaki giriÅŸlere ne kadar yakın olduklarına baÄŸlı olarak belirli kelimelerle eÅŸleÅŸtirilebildi. Lin, “Bu, beyinden metne çeviri sürecine ayrık kodlama tekniklerini dahil eden ve sinirsel kod çözmeye yenilikçi bir yaklaşım getiren ilk sistem. Büyük dil modelleriyle entegrasyon da sinir bilim ve yapay zekada yeni sınırlar açıyor.” diyerek sistem hakkında açıklamada bulundu.
Lin ve ekibi, GPT ile BERT adı verilen bir sistemin kombinasyonunu içeren eÄŸitimli dil modellerini kullandı. Ekip, metin okurken göz izleme ve beyin aktivitesi kaydedilen kiÅŸilerin mevcut veri kümeleri üzerinde test gerçekleÅŸtirdi. Bu, sistemin beyin dalgası kalıplarını kelimelerle eÅŸleÅŸtirmeyi öğrenmesine yardımcı oldu. Ardından DeWave, esasen kelimelerden cümleler oluÅŸturan açık kaynaklı büyük bir dil modeliyle daha eÄŸitildi. DeWave en iyi performansı fiillerin çevirisinde gösterdi. Öte yandan isimler, “yazar” yerine “adam” gibi tam çevirilerden ziyade aynı anlama gelen kelime çiftleri olarak çevrilme eÄŸilimindeydi.
UTS’de bir bilgisayar bilimcisi olan çalışmanın ilk yazarı Yiqun Duan, “Yapılan kelime hatalarının, beynin bu kelimeleri iÅŸlerken, anlamsal olarak benzer kelimelerin benzer beyin dalgası kalıpları üretebileceÄŸinden kaynaklandığını düşünüyoruz. Zorluklara raÄŸmen, modelimiz anahtar kelimeleri hizalayarak ve benzer cümle yapıları oluÅŸturarak anlamlı sonuçlar veriyor.” dedi.
Test edilen örneklem boyutu, insanların EEG dalga dağılımlarının büyük ölçüde farklılık gösterdiği gerçeğini ele alıyor. Yine de veriler araştırmanın yalnızca çok küçük örneklemler üzerinde test edilen önceki teknolojilerden daha güvenilir olduğunu gösteriyor. Yapılması gereken daha çok iş var. Örneğin, EEG sinyalleri beyne yerleştirilen elektrotlar yerine bir başlık aracılığıyla alındığında sinyal oldukça gürültülü oluyor. DeWave, daha da geliştirilerek felç ve inme hastalarının iletişim kurmasına yardımcı olabilir ve insanların biyonik kollar veya robotlar gibi makineleri yönlendirmesini kolaylaştırabilir.
Lin, “Bu araÅŸtırma, ham EEG dalgalarını doÄŸrudan dile çevirme konusunda öncü bir çabayı temsil ediyor ve bu, alanda önemli bir atılım anlamına geliyor.” diyor. Ekip ayrıca, “Düşüncelerin doÄŸrudan beyinden tercüme edilmesi, devam eden önemli çabaları gerektiren deÄŸerli ancak zorlu bir çaba. Büyük Dil Modellerinin hızla ilerlemesi göz önüne alındığında, beyin aktivitesi ile doÄŸal dil arasında köprü kuran benzer kodlama yöntemleri daha fazla ilgiyi hak ediyor.” diyerek ilerlemeye devam edilmesi gerektiÄŸini belirtiyor.
AraÅŸtırma NeurIPS 2023 konferansında sunuldu ve ArXiv‘de bir ön baskı mevcut.
Derleyen: Fatma Ebrar Tuncel