Создано принципиально новое устройство для помощи глухим людям

В устройстве есть датчики деформации и алгоритм глубокого обучения. Благодаря ним оно распознает речь.

Согласно статье, опубликованной в Nature Communications, новая система распознавания речи, разработанная южнокорейскими исследователями, точно распознает слова, отслеживая движения лица. Это принципиально новая система поможет людям с нарушением слуха. Раньше они могли использовать только кохлеарный имплантат или слуховой аппарат.

Кохлеарная имплантация требуется для пациентов с двусторонней тугоухостью или глухотой тяжелой степени. Слуховой аппарат только усиливает звук. В отличие от него, кохлеарный имплант использует специальный набор программ для преобразования и очищения звуков, делая их восприятие более естественным.

Авторы новой разработки хотели помочь пациентам с нарушениями слуха, которые не всегда могут общаться с помощью языка жестов. Однако устройство пригодится и для обычных людей, которые находятся в экстремальных условиях, когда радиосвязи мешает окружающий шум.

В устройстве есть датчики деформации, которые фиксируют движения кожи — сжатие и расширение, когда человек произносит слова. Затем подключается алгоритм глубокого обучения, который преобразует движения лица в слова.

«Датчик деформации, прикрепленный к лицу, растягивается и сжимается, когда человек говорит. В процессе электрические свойства тензодатчиков меняются», — сказал Euronews Тэмин Ким из Школы электротехники и электроники Университета Ёнсе.

На данный момент система может распознавать набор из 100 слов с почти 88-процентной точностью. Как отмечают авторы разработки, работе датчиков не помешает пот и кожное сало. Сам прибор гораздо меньше проектируемых аналогов.

hightech.fm