Język migowy jest językiem naturalnym, którym posługują się osoby niesłyszące w celu porozumiewania się z innymi, bez używania narządu słuchu. Na całym świecie używa się około 300 odmiennych języków migowych i ciągle powstają nowe. Jest on dość trudny, szczególnie do nauki dla osób słyszących. Pewna studentka postanowiła więc stworzyć aplikację, która ma znacznie bardziej ułatwić komunikowanie się. Szczególnie w naszych czasach, gdzie spotkania online są podstawą w pracy zawodowej i nie tylko.
Aplikacja przetłumaczy gesty na słowa
Nie wiadomo dokładnie, skąd wziął się pomysł stworzenia takiej aplikacji. Gupta, bo tak ma na imię jej autorka, zwyczajnie postanowiła zrobić coś związanego ze swoim kierunkiem studiów. Na pewno bodźcem do tego były przeprowadzane przez nią rozmowy z Alexa, asystentem głosowym.
Dodatkowo zmotywowana słowami matki, która wciąż trzymała za nią kciuki i namawiała do rozwoju, wymyśliła spore udogodnienie dla ludzi słyszących, chcących porozumieć się ze swoimi niesłyszącymi znajomymi czy członkami rodziny. Jej model oparty na AI tłumaczy w czasie rzeczywistym amerykański język migowy na angielski.
Jak działa aplikacja?
System, który opracowała studentka, wyłapuje pokazywane ruchy dłońmi oraz palcami, dzięki technologii rozpoznawania obrazu. Następnie przekształca je w język angielski, oczywiście od razu w momencie trwania „rozmowy”.
Jako że język migowy kilku osób potrafi się różnić od siebie, wzięła ona pod uwagę grupę ochotników. Swoją pracą postanowiła podzielić się w poście na LinkedIn, który od razu stał się niezwykle popularny i został wielokrotnie udostępniany.
Zbiór danych jest tworzony ręcznie, uruchamiając plik Image Collection Python, który zbiera obrazy z kamery internetowej, rozpoznając kilka słów w amerykańskim języku migowym.
czytamy w poście na Github
Póki co jest to dopiero prototyp i wykrywa niewiele gestów. Należą do nich m.in – tak, nie, proszę, dziękuję, kocham cię i cześć. Do stworzenia bardziej rozbudowanego modelu potrzeba wielu danych. Jednak już ten sukces świadczy o tym, że warto inwestować w rozwój aplikacji.
