Nasz wzrok zależy od światła, które wpada do oczu przez przejrzyste tkanki rogówki, źrenicy i soczewki. Gdy światło dociera do siatkówki, fotoreceptory wytwarzają sygnały i przekazują je przez nerw wzrokowy do mózgu, gdzie powstaje obraz. Część tego światła wpadającego do oka jest odbijana z powrotem do świata przez bardzo odblaskowy cienki film płynu pokrywający rogówkę.
Technologia AI do wizualizacji 3D
Badacze z Uniwersytetu z Marylandu przechwycili odbite światło i wydobyli z niego trójwymiarowy model otoczenia. W artykule zatytułowanym „Seeing the World through Your Eyes„, zespół opisuje metody użyte do przechwytywania odbić oczu i przekształcania ich w spójne renderowanie 3D za pomocą specjalnie wyszkolonego algorytmu wizualizacji AI zwanej NeRF.
Pole radiacyjne neuronowe (NeRF) to sieć neuronowa AI, która może generować nowe ciągłe widoki skomplikowanych scen trójwymiarowych na podstawie wielu obrazów 2D. Zwykle z kilkudziesięciu zdjęć z różnych kątów, może generować reprezentację 3D z wystarczającą głębią i szczegółowością, aby była prawie nie do odróżnienia od filmu, który może poruszać się wokół obiektu lub przestrzeni.
Jak działa NeRF?
Swój projekt zaczynają od wielu zdjęć wysokiej rozdzielczości z kamery w stałej pozycji, skupionej na osobie w ruchu, patrzącej w kierunku kamery, oprawionej tak, jak mogłoby to być na zdjęciu do dowodu osobistego czy paszportu. Przybliżając odbicie w oku sfotografowanej osoby, widoczne jest lustrzane odbicie pola widzenia, a obiekty w obszarze są rozpoznawalne.
W obrazie występują różnego rodzaju artefakty oka, złożoność tekstur tęczówki oraz identyfikowalne, ale po niskiej rozdzielczości, odbicia rejestrowane na każdym zdjęciu. Aby usunąć tęczówkę z obrazów, wykonano dekompozycję tekstury, szkoląc 2D mapę tekstur, która uczy się jej tekstury i ją usuwa.
Wykorzystując geometrię rogówki, która jest mniej więcej taka sama u wszystkich dorosłych, dokonano obliczenia, aby dokładnie śledzić, dokąd patrzą ich oczy. To również pozwala określić kąt kamery, wytyczając współrzędne obrazów na zakrzywionej geometrii i ustalając kierunek oglądania dla AI NeRF do późniejszego odtworzenia renderingu 3D.
Testowanie metody
Podczas testowania metody na ludzkim oku widoczne jest bardzo skromne renderowanie obrazu, ale na mapie głębi 3D. W bardziej idealnym syntetycznym teście z użyciem sztucznego oka przed cyfrowym obrazem, uzyskano bardziej oczywisty obraz z poprawioną rozdzielczością mapowania 3D.
Inny test zastosował metodę do przechwytywania obrazów odbicia oka z teledysków Miley Cyrus i Lady Gagi, próbując odtworzyć, co obserwują podczas filmowania swoich teledysków.
Technologia AI rozwija się w tempie, które nie przestaje zadziwiać. Dzięki NeRF, możemy teraz tworzyć obrazy 3D na podstawie odbicia światła w oku. To nie tylko otwiera nowe możliwości dla świata nauki, ale również dla wielu innych sektorów, takich jak rozrywka, bezpieczeństwo czy medycyna.
