Общество

Перчатку научили переводить с языка жестов

Пока устройство работает только с английским языком жестов.

Китайские и американские ученые создали роботизированную перчатку, которая благодаря нейросетевым алгоритмам может автоматически переводить язык жестов в человеческую речь. Результаты их работы журнале Nature Electronics.

"Мы надеемся на то, что благодаря нашему изобретению немые и глухонемые люди смогут напрямую общаться с окружающими даже в том случае, если не знают языка жестов. Более того, мы надеемся, что подобные приборы помогут их собеседникам быстро выучить язык жестов", – прокомментировал один из разработчиков перчатки-переводчика, доцент Калифорнийского университета в Лос-Анджелесе Цзюнь Чэнь.

Сейчас несколько миллионов жителей Земли не могут самостоятельно говорить или слышать из-за различных происшествий, а также дефектов голосовых связок, барабанных перепонок и других органов, которые участвуют в воспроизведении или восприятии речи. С окружающими таки люди могут общаться с помощью языков жестов.

Правда, неподготовленный собеседник не сможет понять, что именно носитель такого языка пытается сказать. Из-за этого глухие и немые люди пользуются услугами переводчиков. Но такие люди доступны далеко не всегда, из-за чего у людей с ограниченными возможностями появляются проблемы.

Онлайн-переводчик для глухих

Чэнь и его коллеги сделали большой шаг к решению таких проблем. Они создали перчатку, которая благодаря нейросети может переводить язык жестов в английскую речь в режиме реального времени. Эта перчатка оснащена набором датчиков трения и гироскопов: благодаря этим датчикам устройство узнаёт, что его владелец двигает пальцами и руками. Общая стоимость всех компонентов, по словам исследователей, не превышает $50.

С помощью таких перчаток физики записали жесты, которые в английском языке жестов соответствуют 600 самым распространенным словам. На следующем этапе ученые проанализировали эти данные с помощью нейросети. Она выделила в них характерные черты, по которым эти слова можно достаточно быстро переводить. Устройство может даже озвучивать их с помощью динамика смартфона или другого мобильного устройства.

Добившись этого, ученые расширили возможности устройства. Они добавили набор датчиков, которые крепятся к коже лица. Эти датчики могут определять изменения в мимике, которые тоже используются при формировании определенных слов в языке жестов.

Чтобы натренировать нейросеть и ускорить работу алгоритмов, ученые собрали группу из четырех глухих добровольцев. В результате экспериментов перчатка распознала жесты и короткие фразы с почти 100%-й точностью всего через несколько десятков обучающих сессий.

В ближайшее время ученые планируют расширить "словарный запас" устройства, чтобы его можно было использовать не только в лаборатории, но и в обычной жизни. Как надеются исследователи, обе эти задачи будут решены в самое ближайшее время, благодаря чему глухие и немые люди смогут общаться с любыми окружающими без проблем.

https://nauka.tass.ru

18 июля 2020

Комментарии

Гость
19.07.2020 18:43
Интересно взглянуть на лица кадровиков, если будущий дворник со смарт-перчаткой продактилирует то, как из мемуаров Веселова. Перчаткой не спрятать ум.

Оставить комментарий

Вы также можете добавить комментарий, используя Ваш профиль в ВКонтакте.

Через ВКонтакте

Оставить как Гость

 

Ассоциация для глухих Молдовы получила первую партию защитных масок с прозрачной вставкой...

В Свердловской области планируют начать подготовку дефицитных в регионе сурдопереводчиков...

В Android-смартфонах появилась функция текстовой расшифровки звонков...

Для глухих и слабослышащих свердловчан создадут юридический словарь жестового языка...

На Ставрополье диспетчерская служба для глухих обработала более тысячи заявок...

Глухая девушка узнала, что волосы могут издавать звук....

Осужден уроженец Дагестана, принявший глухих за игнорировавших его...

Бывшая школа для глухих детей рухнула в Мстиславле....

Как сложилась судьба глухой сестры Лаврентия Берии – Анеты после расстрела наркома...

В Музее Москвы появились граффити Миши Моста против немоты...

Глухой инвалид сумел выжить после наезда поезда под Иваново...

"Умные остановки" в Новосибирске будут оснащены системой компьютерного сурдоперевода для глухих...

Глухая женщина, её подруга и собака Гая 3 дня блудили в лесу, вымолив спасение!...

YouTube удалит функцию зрительских субтитров, оставив глухих и иностранцев без поддержки сообщества...

Где можно подхватить коронавирус с большим риском...

«Не учли, что перед ними — тотально глухие люди». Милиция извинилась за задержание перед глухими из Гомеля...

В ИВС в Гомеле после акции попал глухой парень — его мама не знала, что с ним...

Музей «Гараж» создает лабораторию лингвистики русского жестового языка...

Российская компания создала платформу для удалённого обучения на разных языках...

Неофициальная история Метрогородка: глухие держали ресторан на рынке и булочную...



1
2 3 4 5 6 7 8 9  ...  463