ХАЙ-ТЕК Ученые из университета Буффало научили наушники переводить жестовый язык в человеческую речь

Учёные из университета Буффало создали SonicASL — наушники с шумоподавлением, способные “видеть” жестовый язык и переводить жестовый язык в паре со смартфоном.

Как пояснили разработчики, наушники с встроенным микрофоном используют

1) радар, основанный на эффекте Доплера.
Радар позволяет улавливать крошечные колебания в акустических волнах, которые создают руки жестикулирующего человека.

2) С радара информация передается на специальное приложение для смартфона.

3) Приложение переводит знаки в слова и транслирует их через наушники слушателю.

Принцип работы устройства

Система получила название SonicASL в честь американского языка глухих ASL и показала эффективность в 93,8%. «Словарный запас» наушников пока составляет распространенных 42 слова.

Для тестирования разработчики устройства выбрали такие среды, как офис, квартира, коридор и тротуар. По мере увеличения шума окружающей среды, точность SonicASL немного снижалась, однако большинство шумов не повлияло на частотный диапазон.

Радар хорошо распознал слова «любовь», «пространство» и «камера».
При тех же условиях, включающих 30 простых предложений — например, «Приятно познакомиться» — SonicASL показал эффективность в 90,6%.

Невзирая на то, что устройство было протестировано на американском языке глухих, его можно адаптировать для любых жестовых языков. Кроме того, основной алгоритм SonicASL может быть реализован на любом смартфоне.

У разных жестовых языков есть разные особенности, со своими собственными правилами произношения, словообразования и порядка слов.

Однако ключевой функцией SonicASL является распознавание универсальных во всем мире жестов рук, — пояснили создатели устройства.

Доцент кафедры компьютерных наук Чжанпенг Цзинь подчеркнул, что прежде чем такая технология станет коммерчески доступной, необходимо проделать большую работу.

Прежде всего, нужно значительно расширить словарный запас SonicASL.
Кроме того, система должна научиться распознавать выражение лица глухого человека, потому что мимика тоже участвует в разговоре.

techxplore.com
Вениамин Ветролесов
ridus.ru