В начале осени в браузере от Яндекс появился онлайн-перевод видео с английского на русский. Расскажу, как включить/отключить функцию и сможете посмотреть видео примера работы.
Онлайн перевод видео с английского на русский
Итак, 7 сентября Яндекс в своём блоге объявил о полноценном запуске функции закадрового синхронного перевода видеороликов с английской звуковой дорожкой на русский язык. Соответственно фишка работает только в браузере от Яндекса. Я попробовал только на ролике в Youtube.
Как в Яндекс браузере включить перевод видео
Заходим на страницу Youtube и открываете любой англоязычный ролик. Запускаете его.
При наведении курсора мыши на видео в верхней части появляется панелька с кнопками. Жмём на крайнюю справа и через пару секунд включается перевод. Во время перевода родная звуковая дорожка приглушается.
В полноэкранном режиме видео там будет появляться только кнопка включения перевода.
Отключается перевод точно так же нажатием кнопки.
Иногда перевод включается не сразу. При наведении на кнопку включения появляется надпись о времени, через которое вы услышите перевод. Думаю, что это из-за загруженности серверов Яндекса. И сама технология ещё экспериментальная и находится в процессе отладки.
Как работает в браузере Яндекс перевод видео онлайн
Сначала браузер конвертирует звуковую дорожку видео в текст. Далее нейронная сеть определяет пол говорящего для корректного перевода, чистит полученный текст от мусора, расставляет знаки препинания и распределяет слова по смысловым конструкциям. Полученный текст переводится и отправляется в синтезатор речи. Потом русский перевод синхронизируется с видео.
Алгоритм подгоняет речь, чтобы перевод получился синхронизированным. И так как русские фразы часто произносятся дольше английских, то иногда перевод ускоряется и начинает тараторить, чтобы уложиться в тайминги. Иногда переводчик ошибается в ударениях, когда одно слово при разных ударениях имеет разный смысл.
В целом получилось очень даже неплохо. В примере перевода даже заметны интонации.
Примеры закадрового перевода в браузере Яндекс
Английский
Французский
Немецкий
Испанский
В среднем ролик длительностью в 30 минут переводится примерно 2–3 минуты. Короткие переводятся мгновенно.
Чисто ИМХО — меня немного раздражает женский голос. К мужскому вообще никаких претензий. А женский слишком напряжный.
Пробовал смотреть ролик про машину президентского уровня. Нейросеть справилась с переводом откровенно плохо. В итоге женский голос нёс полную ахинею. Да к тому же монотонно. Меня хватило на пять минут просмотра. В раздражении выключил. Смотреть дальше было невозможно.
Яндекс, сделайте женский голос более приятным для наших ушей! Надеюсь, это не жена какого-нибудь крупного начальника из Яндекса.
Дальнейшее развитие технологии
Сейчас перевод осуществляется только с английского на русский. В будущем Яндекс обещает увеличить количество языковых пар.
Upd: Яндекс добавил к английскому языку возможность перевода видео с французского, немецкого и испанского.
Мысли вслух. Когда технология будет отлажена и начнётся массовое использование, то нагрузка на сервера сильно возрастёт. Это дополнительные расходы. Поэтому думаю, что Яндекс сделает эту функцию своего браузера платной. Например, включит в подписку Яндекс плюс, чтобы окупить расходы на онлайн-перевод видео с английского на русский. Необязательно< будет так. Это всего лишь моё предположение.
А что вы думаете по этому поводу? Нравится ли вам эта технология от Яндекса?
Примеры переводов не доступны. Пишет, что аккаунт удален.
Я в курсе. Ютуб сейчас очень агрессивен к аккаунтам из России.
Создан новый канал и продублирован на отечественном Rutube. Если Youtube снова взбрыкнет, ссылки на примеры будут заменены на Rutube.