Как в Яндекс браузере включить онлайн перевод видео с английского на русский

В начале осени в браузере от Яндекс появился онлайн-перевод видео с английского на русский. Расскажу, как включить/отключить функцию и сможете посмотреть видео примера работы.

Онлайн перевод видео с английского на русский

Итак, 7 сентября Яндекс в своём блоге объявил о полноценном запуске функции закадрового синхронного перевода видеороликов с английской звуковой дорожкой на русский язык. Соответственно фишка работает только в браузере от Яндекса. Я попробовал только на ролике в Youtube.

Как в Яндекс браузере включить перевод видео

Заходим на страницу Youtube и открываете любой англоязычный ролик. Запускаете его.

При наведении курсора мыши на видео в верхней части появляется панелька с кнопками. Жмём на крайнюю справа и через пару секунд включается перевод. Во время перевода родная звуковая дорожка приглушается.

В полноэкранном режиме видео там будет появляться только кнопка включения перевода.

Отключается перевод точно так же нажатием кнопки.

Иногда перевод включается не сразу. При наведении на кнопку включения появляется надпись о времени, через которое вы услышите перевод. Думаю, что это из-за загруженности серверов Яндекса. И сама технология ещё экспериментальная и находится в процессе отладки.

Как работает в браузере Яндекс перевод видео онлайн

Сначала браузер конвертирует звуковую дорожку видео в текст. Далее нейронная сеть определяет пол говорящего для корректного перевода, чистит полученный текст от мусора, расставляет знаки препинания и распределяет слова по смысловым конструкциям. Полученный текст переводится и отправляется в синтезатор речи. Потом русский перевод синхронизируется с видео.

Алгоритм подгоняет речь, чтобы перевод получился синхронизированным. И так как русские фразы часто произносятся дольше английских, то иногда перевод ускоряется и начинает тараторить, чтобы уложиться в тайминги. Иногда переводчик ошибается в ударениях, когда одно слово при разных ударениях имеет разный смысл.

В целом получилось очень даже неплохо. В примере перевода даже заметны интонации.

Примеры закадрового перевода в браузере Яндекс

Английский

Французский

Немецкий

Испанский

В среднем ролик длительностью в 30 минут переводится примерно 2–3 минуты. Короткие переводятся мгновенно.

Чисто ИМХО — меня немного раздражает женский голос. К мужскому вообще никаких претензий. А женский слишком напряжный.

Пробовал смотреть ролик про машину президентского уровня. Нейросеть справилась с переводом откровенно плохо. В итоге женский голос нёс полную ахинею. Да к тому же монотонно. Меня хватило на пять минут просмотра. В раздражении выключил. Смотреть дальше было невозможно.

Яндекс, сделайте женский голос более приятным для наших ушей! Надеюсь, это не жена какого-нибудь крупного начальника из Яндекса.

Дальнейшее развитие технологии

Сейчас перевод осуществляется только с английского на русский. В будущем Яндекс обещает увеличить количество языковых пар.

Upd: Яндекс добавил к английскому языку возможность перевода видео с французского, немецкого и испанского.

Мысли вслух. Когда технология будет отлажена и начнётся массовое использование, то нагрузка на сервера сильно возрастёт. Это дополнительные расходы. Поэтому думаю, что Яндекс сделает эту функцию своего браузера платной. Например, включит в подписку Яндекс плюс, чтобы окупить расходы на онлайн-перевод видео с английского на русский. Необязательно< будет так. Это всего лишь моё предположение.

А что вы думаете по этому поводу? Нравится ли вам эта технология от Яндекса?