Нейросеть от ElevenLabs переводит видео на русский язык. Пользователи рунета попробовали продублировать сцены из мемов , сериалов и кино. Перевод <<Офиса>>, <<Гарри Поттера>>, мемов <<Восемь Ши>> и Side Eye напомнил пиратский дубляж 90-х.
Компания ElevenLabs запустила программу, которая создаёт дубляж видео с помощью нейросети с сохранением голоса. В отличие от HeyGen, ElevenLabs не подстраивает артикуляцию говорящего под язык и допускает ошибки, но зато переводит ролики и на русский язык. Пользователи рунета протестировали возможности ElevenLabs в передаче <<великого и могучего>>. Спойлер: с переменным успехом и забавными результатами.
Автор телеграм-канала <<Кабачковая икра по акции>> перевёл короткий монолог актёра Сэмюэла Л. Джексона в фильме <<Змеиный полёт>> и обратил внимание, что нейродубляж путается в ударениях и переводит неточно.
Искусственному интеллекту не всегда удаётся сохранить оригинальный голос персонажа, что приводит к комичному итогу. Так, Стив Карелл в образе Майкла Скотта в сериале <<Офис>> будто бы охрип.
Нейродубляж неплохо справился с мемной песней <<Восемь Ши>>, о значении которой гадали всем тиктоком. Текст получился нескладным, но вполне понятным — китайский блогер поёт о фамилии Ши. Только вот на фоне основной музыкальной дорожки появились какие-то странные звуки, будто парень записывал песню в переполненной людьми квартире.
Популярный английский мем Side Eye (<<косой взгляд>>) в исполнении ElevenLabs — фиаско. Нейросеть не убрала оригинальную звуковую дорожку, не переняла голос говорящей и перевела фразу слишком буквально. После обработки мем зазвучал в лучших традициях пиратского перевода 90-х.
Больше всего не повезло героям фильма <<Гарри Поттер и Узник Азкабана>>. Из известной цитаты Сириуса Блэка <<Я 12 лет ждал в Азкабане>> получился абсурдный набор слов.
По опыту пользователей Сети, ElevenLabs лучше справляется с переводом на английский и французский языки, однако не прочь поиграться с акцентами — то английская речь звучит с сильным русским акцентом, то с индийским. По большей части переводы получаются, скорее, смешными, чем качественными. Но комментаторы считают, что в скором будущем ElevenLabs выйдет на новый уровень.
Ранее TKSAG рассказывал про AI-ботов Кендалл Дженнер и Пэрис Хилтон. Персонажи с лицами и мимикой звёзд отвечают на вопросы в инстаграме*.
* Инстаграм принадлежит Meta Platforms Inc., которая признана экстремистской организацией и запрещена на территории РФ.