Теперь мы поймем друг друга: ученые создали переводчик для слабослышащих

Ученые НГТУ и IT-компания «Адаптис» совместно разработали первый в России анимированный сурдопереводчик. Теперь слабослышащие могут общаться с любым человеком без помощи жестов.

Это чудо науки и техники умещается в обычном телефоне. Теперь глухой человек может установить аватар – разработанную программу – на свой смартфон и спокойно общаться! Нужно только навести видеокамеру на говорящего и аватар переведет разговор на язык жестов. Правда, пока связь будет односторонней – перевод с языка жестов на голосовую речь дело недалекого будущего.

«Человек говорит на конференции. Его слова отправляются на наш сервер распознавания речи. Аватар показывает нужные жесты, и все это происходит практически синхронно!» – поясняет Михаил Гриф, профессор кафедры автоматизированных систем управления НГТУ.

Сначала эта разработка была протестирована на различных публичных мероприятиях. А потом ученые НГТУ перевели целый учебный видеокурс по машиностроению на жестовый язык. Выглядит это так: лектор представляет материал, в уголке экрана (телефона или компьютера) аватар переводит звуковой рассказ на язык жестов.

Прежде чем стать двигающимся персонажем на экране, аватар проходит технологию Motion Capture. Иными словами, при помощи специального костюма с датчиками ученые могут записывать жесты человека и переносить их в аватар. Умное «изделие» все это запоминает, а потом выдает на экран в нужной последовательности. Словарь постоянно пополняется.

Работа над технологией началась 25 лет назад в Новосибирске, под руководством ныне профессора Михаила Грифа.

«К нашей кафедре обратились с просьбой. Задачей было обучить глухих студентов информатике и вычислительной технике до уровня бакалавра. Мы с коллегами столкнулись с тем, что у нас была нехватка переводчиков. Мне пришла идея сделать компьютерный перевод. В 1997 году мы представили первый в мире вариант компьютерного переводчика на международной Сибирской ярмарке», – сообщает Михаил Гриф.

Следующим изобретением ученых стал «Сурдофон», над которым они работали с 2012 до 2017 года. Компьютерный персонаж «Сурдофона» позволял переводить речь в жесты, но движения переводчика не были похожи на человеческие. Поэтому не передавали все тонкости жестового общения. Эту проблему разработчики решили в 2021 году.

«Адаптис предоставляет нам технологии, они купили мокап-студию (прим. ред. Motion capture), в свою очередь НГТУ привлек исследователей и экспертов. Они больше по аватару, а мы, НГТУ, по распознаванию жестовой речи», – говорит профессор Гриф.

В таком партнерстве ученым удалось записать для аватара три тысячи жестов. Но это слишком мало для того, чтобы передать всё многообразие речи.

«Проблема заключается в многозначных словах и омонимах, аватар может неправильно их показать. Допустим, лисички – это могут быть грибы или животные. Поэтому нам нужно поставить модуль, который будет выявлять лексические значения», – добавляет Михаил Гриф.

Но для того, чтобы аватар появился в распоряжении любого нуждающегося, нужно решить еще массу технических проблем, а для этого требуются внушительные затраты.

«Сейчас на проект выделяют около 20 миллионов рублей, но, чтобы работа над переводчиком была быстрее и лучше, нужно больше денег. Мы рассчитали количество средств, которые необходимы, чтобы вывести аватар на уровень внедрения его в повседневную жизнь. У нас получилось около 70 миллионов рублей», – рассуждает профессор Гриф.

Михаил Гриф подмечает, что в будущем НГТУ планирует и другие разработки, которые будут касаться перевода с жестового языка.

«Сейчас мы отправляем заявку в российский научный фонд. Делаем это вместе с партнерами из Красноярска. В перспективе – это двусторонний переводчик на мобильных устройствах и персональных компьютерах», – продолжает профессор Гриф.

Глухому человеку на телефон будет приходить перевод на жестовый язык, а слышащему – голосовое сообщение. При этом всем переводом займется сама программа. Таким образом, барьер между людьми будет снят, и они смогут свободно общаться друг с другом.

sibkray.ru