Czy kiedykolwiek wyobrażałeś sobie, że roboty będą grać w piłkę nożną? Dzięki Google DeepMind, to już nie fantazja, ale rzeczywistość. Firma ta nauczyła roboty tej dyscypliny sportu, używając nowoczesnej technologii zwanej głębokim uczeniem ze wzmocnieniem. Dzięki temu maszyny biegają za piłką i strzelają gole.
Głębokie uczenie ze wzmocnieniem w akcji
Google DeepMind wykorzystało coś, co nazywa się głębokim uczeniem ze wzmocnieniem. To specjalna technika, która pozwala robotom uczyć się na błędach i sukcesach, podobnie jak ludzie uczą się przez próby i wyciągają wnioski z błędów. Naukowcy najpierw testowali ruchy małych humanoidów, wyposażonych w 20 sterowanych stawów, w wirtualnym świecie za pomocą programu komputerowego o nazwie MuJoCo, a gdy te poradziły sobie dobrze w symulacji, ich naukę przeniesiono do prawdziwego świata.
Roboty, które zostały zaprogramowane za pomocą tej metody, mogły nie tylko chodzić i obracać się, ale także kopnąć piłkę i podnieść się po upadku. Z czasem nauczyły się przewidywać ruchy przeciwnika i nawet blokować jego strzały. Co istotne, w testach poruszały się one o 181% szybciej, obracały się o 302% szybciej, wstawały o 63% szybciej i kopnęły piłkę o 34% szybciej w porównaniu do maszyn działających na prostych poleceniach.
Zespół badawczy zauważył, że możliwości głębokiego uczenia ze wzmocnieniem w pełni kontrolują ciało humanoidów, co może mieć zastosowanie w robotach większej skali w przyszłości. Dodatkowo wykazywały one zachowania emergentne (nowe) takie jak dynamiczne umiejętności motoryczne np. obracanie się na rogu stopy, co byłoby trudne do zaprogramowania w przypadku chęci stworzenia skryptu.
Dostosowanie chodu robota do warunków gry
W jednym z testów, przeciwnik zaczynał, mając piłkę i nie ruszając się z miejsca, a robot (nazywany agentem) był ustawiony na obronie. Podczas dziesięciu prób, zbliżał się on do przeciwnika i piłki, robiąc średnio 30 krótkich kroków. W innej serii prób, gdzie oponent był daleko od niej, maszyna biegła dużymi krokami, wykonując średnio 20 dłuższych kroków.
Okazało się, że sposób chodzenia agenta, polegający na robieniu małych, szybkich kroków, przypominał sposób, w jaki ludzie bronią się w sytuacjach jeden na jednego w sporcie, gdzie taki sposób poruszania się jest lepszy, bo pozwala szybciej reagować. Nie jest całkiem jasne, dlaczego robot wybierał tę opcję. Być może chodziło o to, żeby uważnie trzymać się ścieżki między piłką a bramką. Jednak ten wynik wskazuje, że maszyna potrafi dostosować swój sposób poruszania się do konkretnej sytuacji w grze.
To badanie pokazuje, jak daleko doszła technologia i jakie nowe możliwości otwiera. Uczenie robotów gry w piłkę nożną to świetny sposób na testowanie ich zdolności do ruchu, planowania i współpracy. To kolejny krok ku temu, aby w przyszłości maszyny mogły pomagać ludziom w jeszcze bardziej skomplikowanych zadaniach.
