Студентка СурГУ разработала устройство для перевода языка жестов в речь

Слышать и говорить без преград. Студентка Сургутского госуниверситета Валерия Семёнова разработала прототип умного помощника для безбарьерного общения со слабослышащими и глухонемыми людьми. Предполагается, что устройство сможет переводить язык жестов в звуковой формат на основе нейронных сетей.

По задумке мобильное устройство будет выглядеть как обычная перчатка. Идея создать «Диалоговый сурдопереводчик» Валерии Семёновой пришла, когда девушка увидела на улице человека, который общался с помощью жестов по видеосвязи. Тогда студентка из Сургута поняла, что хочет помочь таким людям решить проблему языкового барьера. Ведь язык жестов доступен далеко не всем.

Валерия Семёнова, студентка 3 курса направления «Информационные системы и технологии» Политехнического института СурГУ:
«Человек разворачивает устройство камерой к себе, надиктовывает жест, этот жест преобразуется в речь, и речь выводится через динамик. Собеседник, который стоит перед ним, эту речь улавливает и отвечает также словами, его ответ улавливается микрофоном и переводится в текст, который выводится на экран».

Идея вылилась в целый научный проект, и вот уже больше года с наставником Валерия Семёнова работает над этой программой. Аналоги у умного девайса есть, но в них реализована только поддержка монолога. То есть без обратной связи от оппонента. Будущий помощник для глухонемых и слабослышащих, который разрабатывает девушка, сможет и принимать сообщения. В этом году проект Валерии отметили на федеральном конкурсе «Умник», её работа получила финансовое поощрение для дальнейшего развития. На эти цели ей выделили полмиллиона рублей.

Сергей Сысоев, директор Политехнического института СурГУ:
«У нас есть такая лаборатория, где студенты сами придумывают задания, выполняют, запускают и доводят до конца. Примеры успешно реализованных проектов у нас есть, каждый год два-три наших проекта побеждают в таких программах, как «Умник», и студенты получают премии в виде субсидирования».

Для доработки и воплощения устройства в жизнь юной исследовательнице потребуется ещё несколько лет. После создания тестовой партии её опробуют добровольцы, после чего девушка сможет запустить «помощника для глухонемых и слабослышащих» в массовое производство.

http://ugoria.tv