ХАЙ-ТЕК Сибирские ученые создали самую точную программу для перевода РЖЯ в голос или текст
Ученые Новосибирского государственного технического университета НЭТИ завершают создание системы компьютерного распознавания русского жестового языка. Система с помощью камер и нейронных сетей узнает жесты глухих и переводит их в текст или голос. Подобных программ в мире еще не существует.
«Мы внесли в программу 1006 жестов, если быть точными. Также разработали алгоритм для распознавания жестов, теперь можно выделять компоненты жеста, конфигурацию и ориентацию ладони, локализацию жеста, а также характер движения. В России подобной системы раньше не было, это первая в мире разработка. Сделали программное обеспечение распознавания жестов и их компонент, точность которого составляет до 90%. Сейчас мы работаем над улучшением этого показателя», — рассказал профессор кафедры автоматизированных систем управления Новосибирского государственного технического университета Михаил Гриф.
По его словам, сейчас продолжается разработка программы распознавания дактилем (буквы из дактильного алфавита). Точность распознавания дактилем составляет 92%. Разработка компьютерного переводчика поддержана РФФИ в рамках русско-индийского гранта (рук. М.Г. Гриф), а также Фондом президентских грантов (рук. А.Л. Приходько). Сейчас ведутся переговоры об индустриальном партнерстве и с Министерством промышленности, торговли и развития предпринимательства. Как это начиналось, можно прочитать здесь.
«Мы также вели работу над выделением эпентезы (межжестовое движение). Сейчас точность выделения жестов в видеопотоке составляет 85—90%. Пока эта работа ведется в формате эксперимента. У нас было 350 предложений, которые были записаны на камеру. Мы их размечали, выделяли жесты, промежуточные движения и обучали на них нейронную сеть. Теперь нейросеть может сама определять, где начало жеста, а где завершение. Кроме того, мы занимаемся разработкой биологически подобных нейронных сетей, которые работают аналогично человеку, зрительно воспринимающему жестовый язык», — добавил Михаил Гриф.
Сейчас ученые вуза сосредоточены на разработке и внедрении работы компьютерного переводчика в обе стороны, чтобы его качество удовлетворяло требованиям глухих людей. Сначала планируется разработать переводчик для русского жестового языка, а в дальнейшем и для других жестовых языков мира.
Разработка переводчика позволит создать удобное приложение для коммуникации с глухими людьми, а также позволит им проще адаптироваться в обществе и рабочих коллективах.
Напомним, что ранее НГТУ НЭТИ вышел во второй этап конкурса «Приоритет 2030» Минобрнауки РФ. Один из стратегических проектов в заявке — «Новые инженерные решения и искусственный интеллект для биомедицины». Успех разработки М. Грифа подтверждает сильные компетенции инженеров НГТУ НЭТИ в этой области.
Справка
В мире насчитывается около 130 жестовых языков. В каждом из языков около 3—5 тысяч жестов, которые производятся руками в сочетании с мимикой и положением тела. По данным Всероссийского общества глухих, численность носителей жестового языка в России превышает 300 тысяч человек. По данным Всемирной организации здравоохранения, более 466 миллионов человек в мире страдают от инвалидизирующей потери слуха.
Информация и фото предоставлены Управлением информационной политики Новосибирского государственного технического университета
scientificrussia.ru
Комментарии
Гость 06.10.2021 10:14
"...По данным Всероссийского общества глухих, численность носителей жестового языка в России превышает 300 тысяч человек..." ©Ну наконец-то хоть в одной статье на тему РЖЯ и ВОГ без этих пресловутых "13 миллионов российских глухих" обошлись - хотя бы ближе к реальности стали СМИ информацию подавать. Мелочь, а приятно. )
Теперь ещё бы хоть что-то из тысяч этих подобных разработок на тему коммуникабельности РЖЯ наконец внедрить у себя в России успеть раньше китайцев - они то, вроде, уже свои "говорящие перчатки" на экспорт готовить начали в промышленных масштабах, а мы снова в хвосте инноваций будем плестись... )))
Гость 06.10.2021 23:08
Все эти технологии лишь поддерживают до сих пор официально не признаваемую аксиому: большинство глухих неграмотны. Сколько бы всех этих дурацких изобретений не было бы нужно, сколько бы денег сэкономили, если бы глухие могли внятно писать.Но нет, всей громадной шайке лингвистов, переводчиков и соцработников нужны тупые глухие, не знающие ничего кроме своего ЖЯ - сколько на теме помощи и поддержки глухим недоумкам можно госбабла попилить!
Напишите комментарий