Araştırmacılar bu teknolojiyle binaların, heykellerin ve diğer gerçek dünya nesnelerinin gerçeğe yakın sanal kopyalarını üretmeyi başardılar. Yeni teknoloji, iki boyutlu video klipleri alıp bunları ayrıntılı 3D grafik yapılara dönüştürmek için yapay zekâ kullanıyor.

Nvidia, Michelangelo’nun mermer bloklardan çarpıcı, gerçekçi görüntüler yontması gibi Neuralangelo‘nun da karmaşık ayrıntılara ve dokulara sahip 3D yapılar ürettiğini söyledi.
Profesyoneller daha sonra bu 3D nesneleri tasarım uygulamalarına aktarabilir, sanat, video oyunu geliştirme, robotik ve endüstriyel dijital ikizlerde kullanmak üzere daha fazla düzenleyebilir.

Neuralangelo’nun çatı kiremitleri, cam bölmeler ve pürüzsüz mermer gibi karmaşık malzemelerin dokularını 2D videolardan 3D varlıklara dönüştürme yeteneği, önceki yöntemleri önemli ölçüde aşıyor. Yüksek oranda aslına uygunluk, geliştiricilerin ve profesyonellerin akıllı telefonlarla çekilen görüntüleri kullanarak projeleri için hızla kullanılabilir sanal nesneler oluşturmalarını kolaylaştırıyor.

Araştırmanın kıdemli direktörü ve teknoloji makalesi yazarlarından Ming-Yu Liu, yaptığı açıklamada “Neuralangelo’nun sunduğu 3D yeniden yapılandırma yetenekleri, içerik oluşturucuları için büyük bir fayda sağlayacak ve gerçek dünyayı dijital dünyada yeniden yaratmalarına yardımcı olacak. Bu araç geliştiricilerin ister küçük heykeller ister devasa binalar olsun, ayrıntılı nesneleri video oyunları veya endüstriyel dijital ikizler için sanal ortamlara aktarmalarını sağlayacak.” dedi.

Nvidia araştırmacıları bir demoda, modelin Michelangelo’nun Davut’u gibi ikonik ve açık kasa bir kamyon gibi sıradan nesneleri nasıl yeniden yaratabileceğini gösterdiler. Neuralangelo ayrıca binaların iç ve dış mekanlarını da yeniden inşa edebiliyor.

Nöral render modeli 3D olarak görüyor

Nvidia, 3D sahneleri yeniden yapılandırmaya yönelik önceki yapay zekâ modellerinin tekrarlayan doku desenlerini, homojen renkleri ve güçlü renk değişimlerini doğru bir şekilde yakalamakta zorlandığını belirtti. Neuralangelo, bu ince ayrıntıları yakalamaya yardımcı olmak için NVIDIA Instant NeRF’nin arkasındaki teknoloji olan anlık nöral grafik ilkelerini benimsiyor.

Model; derinlik, boyut ve şekil hissi elde etmek için bir konuyu birden çok yönden ele alan bir sanatçının yapacağı gibi bir nesnenin veya sahnenin çeşitli açılardan çekilmiş 2D videosunu kullanarak farklı bakış açılarını yakalayan birkaç kare seçiyor

Neuralangelo’nun yapay zekâsı, her bir karenin kamera konumunu belirledikten sonra tıpkı bir heykeltıraşın nesnenin şeklini yontmaya başlaması gibi sahnenin kaba bir 3D temsilini oluşturuyor.

Daha sonra ayrıntıları keskinleştirmek için render işlemini optimize ediyor. Nihai sonuç, sanal gerçeklik uygulamalarında, dijital ikizlerde veya robotik geliştirmede kullanılabilecek 3D bir nesne veya büyük ölçekli bir sahne haline geliyor.

Neuralangelo, Nvidia Research tarafından 18-22 Haziran tarihleri arasında Vancouver’da gerçekleştirilecek olan Bilgisayarla Görme ve Örüntü Tanıma Konferansı’nda (CVPR) sunulacak yaklaşık 30 projeden biri. Bildiriler, poz tahmini, 3D yeniden yapılandırma ve video oluşturma gibi konuları kapsıyor.

Derleyen: Onur Bedek