Словом отзовется. Компьютерная платформа поможет понять язык жестов

Жестовый язык уникален – двумя руками можно одновременно сказать два слова, что немыслимо, к примеру, в русском или французском. Для 130 тысяч наших глухонемых и слабослышащих соотечественников этот язык, многозначностью напоминающий дирижерскую партитуру, – главный способ коммуникации с внешним миром. Но русский жестовый в отличие от английского языка в школах не учат. Переводить поможет компьютерная платформа: аспирант Новосибирского государственного технического университета (НГТУ) Алексей Приходько (на снимке) в октябре позапрошлого года на заседании наблюдательного совета организации «Россия – страна возможностей» рассказал президенту Владимиру Путину о своем проекте – программе-переводчике русского жестового языка – а в прошлом году уже приступил к его реализации.

– В начале 2020 года Ассоциация выпускников НГТУ – НЭТИ стала победителем в конкурсе Фонда президентских грантов с проектом члена нашей ассоциации, инженера кафедры автоматизированных систем управления (АСУ) А.Приходько «Электронная платформа по распознаванию и поддержке русского жестового языка», – рассказывает директор ассоциации, кандидат технических наук, доцент Владимир Пономарев. – А.Приходько – единственный в мире глухонемой программист высокой квалификации. Проект, представленный на встрече с президентом в Сочи, был поддержан Фондом президентских грантов, на его реализацию выделено 10 миллионов рублей на два года. Под научным руководством профессора кафедры АСУ Михаила Грифа А.Приходько и члены его команды разрабатывают программу, способную переводить русский жестовый язык в письменную речь. Специальное мобильное приложение не только позволит имеющим проблемы со слухом людям объясняться с окружающими, но и поможет в подготовке переводчиков с жестового языка. Программа будет самообучаемой – глухонемые пользователи смогут дополнять базу жестов. Уже создан прототип системы. Работа очень перспективная, и она может быть продолжена после окончания гранта. Серьезный проект национального масштаба. И ассоциации, и университету есть чем гордиться!

Основная функция вышеупомянутой платформы – перевод. Система работает по аналогии с мозгом человека. При помощи камеры программа распознает и фиксирует жесты, изображение которых переводит в модели и обрабатывает внутри системы, сопоставляя их с данными в нейронной сети, после чего компьютер выводит на монитор соответствующий жестам текст. Кроме того, движениями рук можно настроить громкость, яркость и передвигать курсор на экране без помощи мыши.

Для автора разработки русский жестовый язык – родной. А.Приходько и его семья – глухие. Целеустремленность и математические способности помогли А.Приходько не только стать одним из самых успешных аспирантов НГТУ, но и пройти стажировку в Германии по приглашению Гамбургского университета, одержать победу на хакатоне федерального проекта «Россия – страна возможностей», получить грант фонда Владимира Потанина, а также выступить в роли спикера на IT-конференции в Мюнхене.

Возможность полноценно включиться в «большой мир» глухие и слабослышащие новосибирцы получили более четверти века назад. В 1992 году местные власти решили организовать на базе 37-й школы в Железнодорожном районе Новосибирска комплексное обучение детей с нарушениями слуха: детский сад, школа, среднее профессиональное образование, высшее образование. К сожалению, в полном объеме замысел воплотить в жизнь не удалось, от детского садика и школы впоследствии пришлось отказаться. Тем не менее приятно сознавать, что свой островок комфорта у новосибирцев с ограниченными возможностями здоровья появился задолго до принятия федеральных законов и программ, когда в городе открылся Институт социальной реабилитации (ныне – Институт социальных технологий, ИСТ), впоследствии вошедший в состав НГТУ. Главное достижение института – реализация собственной образовательной модели, связанной с социальным лифтом: успешные выпускники программ среднего профессионального образования могут перейти на соответствующие направления высшего образования. О том, насколько включенными в студенческую жизнь чувствуют себя магистранты и аспиранты с ограничениями здоровья, свидетельствуют их достижения последних лет. Только за 2019-2020 годы студенты института взяли золото Российской недели искусств в номинации «Декоративное панно», заняли первое место на выставке Art Week in India, победили в зимних Сурдлимпийских играх (аналог Паралимпийских игр для спортсменов с нарушениями слуха).

– Доступная среда предполагает комфорт, и мы его студентам обеспечиваем, – с гордостью отмечает директор ИСТ, доктор социологических наук, профессор Людмила Осьмук. – Весь мир начал переходить на инклюзивную модель: ребята с инвалидностью обучаются вместе со здоровыми сверстниками. Мы тоже стали решать задачу развития инклюзивного образования. В этом году набрали треть ребят с ограничениями здоровья и две трети без ограничений. Среди студентов с инвалидностью – 70% с ограничениями по слуху, но мы не можем отказать и абитуриентам с другими патологиями, поэтому приходится преодолевать много организационных проблем. Ребята с инвалидностью привыкли обучаться отдельно, для них было болезненным вхождение в общие группы, но благодаря уникальной системе комплексного социально-психологического сопровождения, созданной предыдущим директором института Геннадием Птушкиным и его командой, мы с этим справились.

Студенты и сотрудники ИСТ не замыкаются в стенах специально оборудованного корпуса, построенного для них несколько лет назад, – развивается сотрудничество с другими кафедрами, о чем свидетельствует, в частности, проект А.Приходько. Не отстают и преподаватели: еще в 2013 году благодаря сотрудничеству ИСТ, кафедр иностранных языков и филологии гуманитарного факультета в НГТУ в рамках направления «Лингвистика» был открыт набор на специальность «переводчик английского и русского жестового языков». Недавно кафедра филологии НГТУ под руководством доцента Светланы Бурковой разработала первый русскоязычный учебник по лингвистике жестовых языков, призванный восполнить практически полное отсутствие отечественных пособий по этой тематике. Теперь дело за компьютерной платформой, подготовленной А.Приходько и его коллегами. Ее планируется использовать не только для перевода «с русского жестового», но и для обучения тех, кто будет переводить.

Ольга КОЛЕСОВА
https://poisknews.ru