Osaka Üniversitesinden araştırmacılar, insanların önlerindeki fotoğraflara bakarken oluşan beyin aktivitesini görsellere dönüştürmek için popüler bir yapay zekâ görüntü oluşturma programı olan Stable Diffusion’ı kullandıklarını belirtti.
Japonya’da bulunan Osaka Üniversitesinden Yu Takagi ve Shinji Nishimoto’nun yeni araştırma makalesi, bilgileri beyinlerin fonksiyonel manyetik rezonans görüntüleme (fMRI) sinyallerinden elde edilen beyin aktivitesi kullanılarak yüksek çözünürlüklü görüntülerin “karmaşık derin öğrenme modellerinin ince ayarına gerek kalmadan” yeniden oluşturulabileceğini iddia ediyor. Daha önce de çeşitli çalışmalarda manzara ve yüz görüntüleri oluşturmak üzere beyin taramalarını okumak için yapay zekanın kullanıldığı bildirilmişti. Stable Diffusion olarak bilinen yapay zekâ algoritması ise böyle bir araştırmada ilk kez kullanılıyor. Araştırmacılar, daha doğru resimler elde etmek için varsayılan Stable Diffusion sistemine ek bir eğitim eklediler. Bu, esasen binlerce fotoğrafın ek metin açıklamalarını, deneklerin belirlenen fotoğrafları gözlemledikleri sırada kaydedilen beyin modellerine bağlamak anlamına geliyor. Beyin taramalarının şifresini çözmek için kullanılan daha önceki yapay zekâ algoritmaları büyük veri setlerine dayanırken, Stable Diffusion çok daha az veri kullanarak bu başarıyı elde edebildi. Princeton Üniversitesinde bilişsel sinirbilimci olan Ariel Goldstein, bunu beyni deşifre etmek için metinsel ve görsel bilgileri birleştiren yeni bir yaklaşım olarak nitelendirdi.
Çalışma, yapay zekâ algoritmasının beynin görüntülerin algılanmasında rol oynayan oksipital ve temporal loblar gibi farklı bölgelerinden toplanan bilgileri işlediğini öne sürdü. Araştırmacılar, insanlar bir görüntüye baktıklarında temporal lobların görüntünün içeriğiyle ilgili bilgileri kaydettiğini, oksipital lobların ise düzenleri ve perspektifleri kaydettiğini söyledi. Tüm bu bilgiler, beynin aktif bölgelerine giden kan akışındaki değişikliklerin tespit edilmesine yardımcı olan fMRI kullanılarak kaydediliyor.
Örneğin test sırasında biri bir saat kulesinin görüntüsüne baktı. fMRI tarafından kaydedilen beyin aktivitesi, Stable Diffusion’ın önceki anahtar kelime eğitimine karşılık geldi ve daha sonra anahtar kelimeleri mevcut metinden görüntü dönüştürücüsüne aktarıldı. Buradan, yeniden yaratılan bir saat kulesi, son ve etkileyici bir görüntü oluşturmak için oksipital lobun düzen ve perspektif bilgilerine dayanarak daha da detaylandırıldı. Stable Diffusion algoritmasına eklenen ek eğitim, Minnesota Üniversitesi tarafından sağlanan çevrim içi bir veri setine dayanıyor. Veri seti, her biri 10.000 resim görüntüleyen dört katılımcının beyin taramalarından oluşuyor.
Stable Diffusion, denekler tarafından görülen fotoğrafları (solda) yeniden oluşturabilir. Yalnızca beyin aktivitesi kalıplarını kullanarak, düzeni ve perspektifi (ortada) doğru bir şekilde yeniden üretir, ancak metinsel bilgilerin eklenmesiyle, fotoğraftaki nesneyi de doğru bir şekilde yeniden oluşturabilir (sağda).
Osaka Üniversitesinden Shinji Nishimoto ise bu teknolojinin daha da geliştirilmesiyle hayal edilen düşünce ve rüyaları yakalamak için kullanılabileceğini ya da bilim insanlarının diğer hayvanların gerçekliği ne kadar farklı algıladıklarını anlamamızı sağlayabileceğini umduğunu belirtti.
Derleyen: Deniz Akbulut
