- Hollywood aktörlerinin aylardır sürdürdüğü grevin sebebi olan 3D tarama teknolojisi, 4D Gauss ile bir adım daha ilerledi.
- 4D Gauss, hareket halindeki insan bedenini dolayısıyla oyuncuların performanslarını ve tavırlarını yakalayarak stüdyolarda sonsuza kadar tekrar kullanılabilecek şekilde modelliyor.
- Bu teknoloji aktörlerin hareketlerini yakalamak ve kullanmak isteyen stüdyolar ve video oyunu tasarımcıları ya da XR/VR tasarımcıları için harika bir başlangıç olarak görülüyor.
Potansiyel olarak hareket halindeki insan bedenini dolayısıyla oyuncuların performanslarını ve tavırlarını yakalayarak stüdyolarda sonsuza kadar tekrar kullanılabilecek şekilde modelleyen ve Hollywood’da on yıllardır kullanılmakta olan 3D tarama teknolojisini bir adım öteye taşıyan 4D Gauss teknolojisi, yapay zekanın yerlerini alması konusunda endişe duyan ve bundan dolayı temmuzdan beri grevde olan oyuncuların korkularını körükledi.
2001 yılında MIT, ETH Zurich ve Mitsubishi’deki araştırmacılar tarafından lazerlerle nesneleri taramak için geliştirilen ve aynı zamanda karmaşık ve zaman alıcı bir kuruluma sahip olan 3D teknolojisi, bir adım daha ilerletilerek 3D’deki dinamik hareketleri yakalayabilmek için değiştirildi. 3D tarama teknolojisi için bir oyuncunun vücudunun etrafına 360 derece yerleştirilmiş birden fazla kamera, doğrudan oyuncunun üzerine yerleştirilen küçük pinpon topları büyüklüğünde işaretleyiciler ve vücudu tamamen saran ve sıkıca oturan bodysuitler kullanılmasını gerektirirken, yeni geliştirilen 4D Gaussian splatting (Gauss sıçraması) yöntemi ile bir nesnenin etrafında hareket ettirilen tek bir 2D kameradan alınan statik 3D görüntülerini yakalamak mümkün hale geliyor.
Ancak bu teknolojinin işleyişinde pek çok zorlukla karşılaşılıyor. Peki bu zorluklar nedir ve neden varlar?
Bir 3D sahneyi işleyebilmek için her birinin kendi konumu, dönüşü ve diğer nitelikleri olan mikro parçalar kullanılır ve her noktaya ayrıca bir opaklık ve görünüm yönüne bağlı olarak değişebilen bir renk atanır. Halihazırda modern web tarayıcılarında ve akıllı telefonlarda 2D görüntü koleksiyonları yapılabiliyor. Bununla beraber Araştırmacılar 4D Gauss sıçraması teknolojisi için, 3D tarama teknolojisinin 4 boyutlu dinamik sahnelere genişletilmesinin mümkün ve önemli olduğunu ancak, seyrek girdilerden karmaşık nokta hareketlerinin modellenmesinden kaynaklanan temel bir zorluğa da sahip olduğunu söylüyor. Ayrıca hareketli bir görüntü oluşturmak için birden fazla Gauss sıçraması farklı zaman damgalarında bir araya getirildiğinde, her noktanın görüntüden görüntüye “deforme” olması ve görüntülerdeki nesnelerin şekillerinin ve hacimlerinin yanlış temsil edilmesi de bir başka zorluğu beraberinde getiriyor.
Ancak araştırmacılar, yalnızca “tek bir kanonik 3D Gauss kümesi” veya görüntü tutarak bu sorunun üstesinden geliyor ve bir zaman damgasından diğerine nerede ve nasıl hareket edeceklerini haritalamak için tahmine dayalı analitik kullanıyorlar.
Bu, malzemeleri doğramak ve karıştırmak da dahil olmak üzere bir tavada yemek pişiren bir kişiyle beraber aynı anda yakınlarında hareket eden bir köpeğin de 3D görüntüsünü oluşturmayı mümkün hale getiriyor. Bu teknoloji insan ellerinin, bir kurabiyeyi ikiye bölmesini ya da oyuncak bir yumurtayı açarak içindeki oyuncak civcivi ortaya çıkarmasını da işleyebiliyor. Bu durum 3D dönme efektiyle izleyicinin “kamerayı” sahnedeki nesnelerin etrafında 3D olarak hareket ettirmesine ve onları birden fazla açıdan ve bakış açısından görmesini mümkün hale getiriyor. Bütün bu sonuçlar etkileyici olsa da araştırmacılar tarafından 3D olarak yakalanan hareket sahneleri yalnızca 20 dakika sürebiliyor ve bu süre elbette uzun metrajlı bir film için çok kısa kalıyor.
Her ne kadar henüz uzun metrajlı bir filmi kapsayacak seviyeye çıkamamış olsa da araştırmacılara göre 4D Gauss splatting yöntemi, dinamik sahnelerde ve sentetik veri kümeleri için 800×800 çözünürlükte, 70 FPS’ye kadar ve gerçek veri kümelerinde 1352×1014 çözünürlükte ve 36 FPS’ye kadar gerçek zamanlı işleme sağlayarak önceki son teknoloji (SOTA) yöntemleriyle denk ya da daha üstün performans gösteriyor. Araştırmacılar bu çalışmanın hâlâ devam ettiğini ve sonraki geliştirmelerle karmaşık gerçek sahneler üzerinde daha yüksek işleme kalitesinin keşfedileceğini söylerken aynı zamanda bu teknoloji bir aktörün birkaç hareketini yakalamak ve bunları yeniden kullanmak isteyen stüdyolar ve video oyunu tasarımcıları ya da XR/VR tasarımcıları için harika bir başlangıç olarak görülüyor.
Derleyen: Fatma Ebrar Tuncel
