Компьютер учит язык знаков, смотря ТВ
Не только люди могут учиться, смотря телепередачи. Разработанное в Великобритании программное обеспечение освоило символьный язык, изучая ТВ-программы, где изображение сопровождается субтитрами и символьным языком, облегчающим просмотр глухим.
Патрик Бьюлер (Patrick Buehler) и Эндрю Зиссерман (Andrew Zisserman) из Оксфордского университета и Марк Эверингем (Mark Everingham ) из Университета Лидса решили посмотреть, может ли программа выучить британский символьный язык посредством видео. Для начала они разработали алгоритм для распознавания изображаемых знаков. ПО по положению рук определяет приблизительное расположение кистей, а затем работает с окрашенными в телесный цвет пикселями для точной идентификации показываемых руками форм.
Когда команда ученых стала уверена в правильности работы приложения, компьютеру отдали на анализ 10 часов телематериала со смешанным показом 210 существительных и прилагательных в виде субтитров и знаков, повторяемых множество раз. Поскольку не было очевидно, какая часть последовательности знаков соответствует ключевому слову, система сопоставляла демонстрируемые знаки с появляющимися в субтитрах словами снова и снова.
Начав без каких-либо данных о знаках для этих 210 слов, программа в конечном итоге корректно распознала 136, или 65%. По словам Эверингема, некоторые слова имеют отличающиеся знаки в зависимости от контекста изложения. Так, знак, означающий выкапывание дерева не эквивалентен таковому для выкапывания розы. Поэтому результат можно назвать успешным.
Хелен Купер (Helen Cooper) и Ричард Боуден (Richard Bowden) из Университета Суррей (University of Surrey), Великобритания использовали несколько иной метод для обучения компьютера языку знаков. Программное обеспечение выделяло наиболее часто появляющиеся символы и соотносило их с более употребимыми словами, проверяя их значение по субтитрам. Такой подход оказался более успешен и масштабируем - он применим для быстрой работы с большим объемом данных. Но, как считает Эверингем, в этом случае программное обеспечение способно распознавать отличия между терминами куда менее успешно, чем его метод.
Обе разработки имеют не только академическую ценность в виде демонстрации мощности программных алгоритмов. Они могут послужить созданию систем автоматической анимации в виде знаков цифровых данных, которые бы сопровождали любую телепрограмму. Предшествующие попытки приводили к слишком неуклюжему отображению символов для людей, свободно владеющих языком знаков.
Описанные работы были презентованы в рамках Конференции компьютерного сообщества по компьютерному визуальному восприятию и распознаванию образов (IEEE Computer Society Conference on Computer Vision and Pattern recognition, CVPR 2009), прошедшей на пошлой неделе во Флориде.
Компьютеры смогут смотреть телевизор и учиться
Британские ученые разработали программное обеспечение, которое даст возможность компьютерам считывать язык знаков, пока они «смотрят» телевизор. Компьютеры учатся на основе телевизионных программ, которые имеют как субтитры, так и сурдоперевод.
Большинство телепрограмм в Британии транслируются с субтитрами и сурдопереводом для удовлетворения нужд глухих людей. Патрик Бюллер и Эндрю Зиссерман из Оксфордского университета, а также Марк Эврингем из Университета Лидса смогли создать алгоритм, который понимает знаки сурдопереводчика. Программное обеспечение распознает быстро меняющееся положение рук, идентифицируя пиксели, имеющие цвет человеческого тела, и определяя точную форму рук сурдопереводчика.
Убедившись, что компьютер распознает знаки, ученые «показывали» ему различные телевизионные программы в течение 10 часов. Заданием программы было узнать 210 слов, из которых она успешно справилась со 136-ю.
«Некоторые слова имеют другие обозначения в зависимости от контекста: например, «срубить дерево» (cutting a tree) обозначается отлично от «сорвать розу» (cutting a rose)», – цитирует слова Эврингема издание «New Scientist».
В самостоятельном исследовании, проведенном Хелен Купер и Ричардом Боуденом в британском Университете Сюррея, использовалось то же самое программное обеспечение для обучения компьютера языку жестов.
«Наш подход имеет более высокую точность при меньшем количестве данных», – сказал Боуден.
В ходе исследования Купер и Боуден с помощью программы сканировали знаки сурдоперевода, чтобы компьютер определил наиболее часто повторяющиеся и, соответственно, наиболее общепринятые. Значение каждого знака затем проверялось с помощью субтитров.
Напишите комментарий