W dziedzinie robotyki i sztucznej inteligencji naukowcy nieustannie szukają nowych metod, aby usprawnić proces uczenia się maszyn. Wyobraź sobie, że każdy z nas może pomóc nauczyć robota. Brzmi nieprawdopodobnie? A jednak, naukowcy z MIT, Harvardu i University of Washington opracowali nową technikę, dzięki której jest to możliwe.
Jak działa HuGE?
Tradycyjnie, do nauczenia robota nowego zadania, takiego jak na przykład otwieranie drzwi do salonu, wykorzystuje się uczenie ze wzmocnieniem. Jest to proces prób i błędów, gdzie maszyna jest nagradzana za działania, które przybliżają ją do celu. W wielu przypadkach ekspert będący człowiekiem musi dokładnie zaprojektować oferowaną nagrodę, która jest mechanizmem motywacyjnym. Nie zapominając o tym, że wszystko musi być przez niego przeanalizowane i odpowiednio dopasowane.
Może to być czasochłonne, nieefektywne i trudne do skalowania, zwłaszcza gdy zadanie jest złożone i obejmuje wiele etapów. W Human-Guided Exploration (HuGE), zamiast polegać na skomplikowanej funkcji nagrody zaprojektowanej przez ekspertów, wykorzystuje się opinie zgromadzone od wielu użytkowników, co przyspiesza proces uczenia.
I tak, przykładowo, ucząc robota określonych czynności w domu użytkownika, nie ma potrzeby wielokrotnego pokazywania mu fizycznych przykładów każdego zadania. Zamiast tego maszyna sama eksploruje pomieszczenie, opierając się o informacje zwrotne pochodzących od zwykłych osób, kierujących jego ruchami.
Ten nowy sposób uczenia ma kilka istotnych zalet. Między innymi umożliwia szybką naukę mimo błędów. Asynchroniczne zbieranie opinii pozwala na uczestnictwo w procesie użytkownikom z całego świata, którzy nie muszą działać jednocześnie. Wreszcie HuGE zmniejsza potrzebę zaangażowania ekspertów w projektowanie funkcji nagrody, co jest czasochłonnym i skomplikowanym zadaniem.
Testy przeprowadzone przez naukowców z MIT, Uniwersytetu Harvarda oraz Uniwersytetu Waszyngtońskiego zarówno w symulacjach, jak i w rzeczywistym świecie, potwierdziły skuteczność tej metody.
Perspektywy i dalsze kierunki badań
Naukowcy planują dalsze udoskonalanie HuGE, by umożliwić robotom uczenie się poprzez inne formy komunikacji, takie jak język naturalny i fizyczna interakcja z maszyną. Wykazują również zainteresowanie zastosowaniem tej metody do jednoczesnego nauczania wielu robotów.
