Nowy model sztucznej inteligencji firmy NVIDIA wykorzystuje sieci neuronowe do rekonstrukcji 3D. AI z pomocą klipów wideo 2D odtwarza szczegółowe struktury 3D.
Artystyczna i inżynieryjna potęga na wyciągnięcie ręki
Tempo rozwoju modeli AI szokuje, a jednocześnie zachwyca przez oferowanie coraz szerszej palety wyspecjalizowanych narzędzi. Modele AI wspierają, a często też całkowicie odmieniają pracę różnych branż — tworzenie precyzyjnych grafik, płynna obróbka zdjęć, przewidywanie zagrożeń, przygotowywanie egzaminów, doradztwo medyczne… możliwości jedynie przybywa. Co dalej? NVIDIA, zaraz po prezentacji nowego hardware’u do obsługi modeli generatywnych, pochwaliła się swoim nowym AI, które zdolne jest odtwarzać całe środowiska i przestrzenie na podstawie… klipu 2D.
Neuralangelo generuje struktury 3D ze skomplikowanymi szczegółami i teksturami. Kreatywni profesjonaliści mogą następnie importować te obiekty 3D do aplikacji projektowych, edytując je do wykorzystania w sztuce, tworzenia gier wideo, robotyce i cyfrowych bliźniakach przemysłowych. Nowe AI w praktyce staje się przestrzennym tłumaczem — jego zdolności przenoszenia tekstur złożonych materiałów, jak glina, marmur, szkło czy drewno, znacznie przewyższa wcześniejsze stosowane metody.
Nvidia AI rzeźbi hiperrealistyczne wizje
W wersji demonstracyjnej badacze zademonstrowali, w jaki sposób model może odtworzyć obiekty tak kultowe, jak Dawid Michała Anioła i tak zwyczajne jak ciężarówka. Neuralangelo może również zrekonstruować wnętrza i elementy zewnętrzne budynków.
Możliwości rekonstrukcji 3D oferowane przez Neuralangelo przyniosą twórcom ogromną korzyść, pomagając im odtworzyć rzeczywisty świat w świecie cyfrowym. To narzędzie ostatecznie umożliwi programistom importowanie szczegółowych obiektów — czy to małych posągów, czy masywnych budynków — do wirtualnych środowisk gier wideo lub cyfrowych bliźniaków przemysłowych.
Ming-Yu Liu, starszy dyrektor ds. badań w NVIDIA
Wcześniejsze modele AI do rekonstrukcji scen 3D miały trudności z dokładnym uchwyceniem powtarzających się wzorów tekstur, jednorodnych kolorów i silnych różnic kolorów. Neuralangelo wykorzystuje jednak NVIDIA Instant NeRF, by uchwycić wszelakie, najdrobniejsze nawet detale. Model wyciąga z wideo 2D kilka klatek, które uchwycą różne punkty widzenia. Po określeniu pozycji kamery w każdej klatce sztuczna inteligencja Neuralangelo tworzy trójwymiarową reprezentację sceny. Następnie model optymalizuje renderowanie, aby wyostrzyć szczegóły, a finalnym rezultatem jest obiekt 3D lub scena.
I tak jak ludzka ręka kiedyś z bloku kamienia ciosała dzieła sztuki, tak AI staje się dzisiaj cyfrowym rzeźbiarzem, tworzącym całe sceny i wystąpienia z użyciem zaledwie kilku obrazów.
