ЛАЙФХАК «Яндекс» запустил переводчик видео с английского на русский

«Яндекс» добавил в свои браузеры и приложения функцию автоматического перевода видео с английского языка на русский. «Теперь вы можете посмотреть с русской озвучкой практически любой англоязычный ролик, какой захотите», — заявили в компании.

Перевод работает на компьютерах — в «Яндекс.Браузере» и на мобильных устройствах: в браузере для Android и приложении «Яндекс» для Android и iOS.

Перевод, который выполняет «Яндекс», получается закадровым и двухголосым. Мы приглушаем оригинальную звуковую дорожку — так, чтобы она была слышна, но не мешала восприятию — и накладываем на неё новую, с переводом. Мужские голоса переводятся мужским голосом, женские — женским. Если вы поймёте, что женский голос вам знаком, знайте, что вам не показалось. Это голос Алисы.

Перевод доступен для всех англоязычных роликов на YouTube, Vimeo и других популярных платформах. Мы шли к этому шагу более десяти лет.

Мы не только превращаем аудио в текст [который воспроизводится голосом], но и запускаем специальную нейросеть, которая вычищает мусор, группирует слова в смысловые сегменты и расставляет знаки препинания.

Кстати, мы опираемся не только на голос, но и на субтитры. Решили так: если человек загрузил к видео субтитры — то распознавание не используем: ведь тексты, написанные людьми, обычно более качественные. При этом даже ручные субтитры нужно пропускать через ту самую нейросеть.

Сейчас у нас два голоса, дальше станет больше. Вот наглядная схема всего процесса перевода видео:

Яндекс

Комментарий ДН: Новая технология позволит видеороликам, сделанными глухими, с субтитрами, стать более доступными слышащим.