Robot ReMotion (źródło: Cornell University)
Robot ReMotion (źródło: Cornell University)

Ten robot odzwierciedla ludzką twarz w czasie rzeczywistym

Amerykańscy naukowcy opracowali robota ReMotion, który będzie pełnił rolę teleobecności. Wszelkie ruchy, mowa ciała, a także mimika, wykonane przez użytkownika, zostaną dokładnie odtworzone przez robota. Jest to możliwe dzięki urządzeniu NeckFace, które wkładane na szyję pozwala na śledzenie twarzy.

Robotyczny system, który pokonuje bariery w zdalnej pracy

Naukowcy z Uniwersytetu Cornella opracowali robota teleobecności oraz urządzenie NeckFace, które zakłada się na szyję. Tak utworzony system ma za zadanie przekazywać pełnię mowy ciała użytkownika, znajdującego się w innym miejscu.

Głową maszyny jest monitor, na którym wyświetlane jest odzwierciedlenie twarzy użytkownika. Całość robota osiąga wysokość około 1,8 metra, a jego poruszanie się możliwe jest dzięki kołom. Kluczem do odtwarzania mowy ciała jest NeckFace, czyli urządzenie typu wearable, które zakładane jest na szyję.

Choć maszyny, służące teleobecności, są już znane, zazwyczaj wymagają zdalnego kierowania, co rozprasza, ogranicza i odwraca uwagę użytkownika. Ten robot natomiast pozwala na pełne skupienie się na wykonywanym zadaniu i automatyczne odtworzenie ruchów ciała przez maszynę oraz mimiki twarzy na ekranie.

Robot ReMotion (źródło: Cornell University)
ReMotion (źródło: Cornell University)

Jak działa innowacyjny system teleobecności?

Opracowany system opiera swoje działanie o kamery na podczerwień Azure Kinect, które służą do śledzenia twarzy i mimiki użytkownika. Zarejestrowane dane przesyłane są w trybie rzeczywistym do robota, który renderuje ludzką twarz w postaci awatara o realistycznych cechach.

System NeckFace działa w oparciu o uczenie maszynowe oraz przechwycone obrazy podbródka i twarzy, odbierane w podczerwieni. Aby urządzenie mogło odzwierciedlać naprawdę wysokiej jakości wyniki, wprowadzono 52 parametry, które realistycznie reprezentują mimikę.

Ta innowacyjna forma teleobecności została przetestowana w gronie użytkowników, którzy jasno wskazali, że w porównaniu z dotychczas stosowanymi technologiami, ta pozwala na zdecydowanie lepsze połączenie. Opracowany system póki co działa z dwoma użytkownikami wewnątrz zdalnego środowiska, jednak programiści mają w planach poszerzenie możliwości ReMotion tak, aby możliwe było realizowanie prac w większym zespole.