Нейросеть, переводящую язык жестов, тестируют в Нижнем Новгороде
Российские ученые разработали нейросеть, которая понимает и переводит язык жестов. Ожидается, что виртуальный сурдопереводчик поможет клиентам в МФЦ заполнить документы и ответит на различные вопросы.
Виртуальный аватар способен показывать перевод с жестового языка на устную речь и обратно.
Павел Прохоров, руководитель проектов по доступным коммуникациям в лаборатории инклюзивных технологий при правительстве Нижегородской области: «В принципе, синхронных переводчиков жестовых языков в мире нет. Мы в этом плане такие новаторы. Начали с более простого, когда человек взаимодействует с искусственным интеллектом, со стендом, и ему выдаются уже заранее записанные инструкции».
В компьютер загружены пока 80 видеоответов. И нейросеть в зависимости от запроса выбирает, какой ответ предложить. Сейчас система уже умеет распознавать 1600 жестов. В лаборатории инклюзивных технологии при правительстве Нижегородской области систему тестирую те, кому она будет полезна.
И поход в любое из социальных учреждений для них часто — задача невыполнимая. Искусственный интеллект в порядке эксперимента и только в одном отделении МФЦ в Нижнем Новгороде уже используется, но пока умеет вовремя сигнализировать о том, что что-то пошло не так.
Светлана Мусарская: «У нас в каждом из окошек в этом отделе стоят маленькие микрофончики. Это нам помогает и анализировать то, что происходит в окне, и выявлять эти триггеры, когда начинается какая-то некомфортная ситуация либо для нашего сотрудника, либо для заявителя».
Исключить конфликты полностью как раз и помог бы виртуальный переводчик. Но пока есть сложности.
Во-первых, язык глухонемых тезисный — простые формы в отличие от русского-делового с деепричастиями и канцеляризмами. А во-вторых, один и тот же жест может означать до пяти абсолютно разных слов. Все дело в контексте и диалектах жестов, и нейросеть пока не научилась понимать различия.
Главный вопрос всех, кто только погружается в проблему, разве нельзя просто дублировать все ответы текстом. Оказывается, нет. Людям, которые думают на языке жестов, письменная речь часто тоже чужда.
Комментарии
Гость 25.09.2024 18:30
Сколько уже таких проектов "переводчиков РЖЯ" было, сколько их до ума пытались довести, сколько грантовых денежек ушло зря...Ах не зря - для их получателей: жили же на эти денежки неплохо... И продолжают - вот ещё один "инновационный" проект..)))
Гость 25.09.2024 19:17
значит, нейросеть пока не научилась понимать различия... Дайте мне лопату, покажу ей как надо понимать....Напишите комментарий