Запах тостов вместо напалма. Программисты заменили слова людей на видео так, что заметить подвох невозможно

Эксперты по машинному обучению провели эксперимент, в ходе которого изменили речь людей на видео. Поддельные отрывки создала программа компании Adobe, а героям оригинальных роликов не пришлось произносить новые фразы. Похоже, это плохая новость для знаменитостей и хорошая для мошенников.

Исследовательская группа экспертов по машинному обучению из Стэнфордского и Принстонского университетов совместно со специалистами компании Adobe сделала шаг в мрачное будущее и научилась заменять слова людей в видео так, что зрителям сложно заметить разницу.

Опасный эксперимент получил скучное название <<Основанное на тексте редактирование видео с говорящими головами>>. Его результаты были опубликованы на сайте проекта, а в скором времени будут представлены на научной конференции SIGGRAPH.

В рамках опыта исследователи проанализировали видео с говорящими людьми и изолировали фонемы — мельчайшие единицы звука в речи подопытных. В то же время учёные при помощи программ сканировали лица говорящих, мимику и движения губ, а затем создавали их 3D-модели.

Далее дело было за малым: программы разделяли звуки и движения, а после соединяли их в соответствии с новой фразой. Так, девушка, говорившая фразу <<О Romeo, Romeo! Where fore art thou Romeo?>>, сказала <<О Romeo, Romeo! Why are you Romeo?>>

Другой подопытный произнёс перед камерой знаменитую фразу из фильма Фрэнсиса Копполы <<Апокалипсис сегодня>>: <<Я люблю запах напалма поутру>>. После обработки его речь изменилась на <<Я люблю запах французских тостов поутру>>. Ни один из испытуемых не записывал видео со вторым вариантом фразы — его создала программа.

Помимо прочего, специалисты смогли удалить слова из речи говоривших, а также создать компиляции из нескольких отрывков записи. В каждом из случаев итоговое видео выглядело оригинальным роликом. Посмотреть демонстрацию результатов эксперимента можно здесь.

Чтобы отредактированный эпизод сливался с остальным видео, учёные использовали VoCo — программное обеспечение для редактирования голоса, которое компания Adobe представила в 2016 году. Если вы будете внимательно следить за движениями героя в поддельном ролике, то сможете найти подмену. Однако, не зная о подвохе, вы вряд ли заметите несоответствия.

В отчёте о результатах эксперимента исследователи вспомнили об этической части проекта. Любой пользователь компьютера сможет повторить действия экспертов и отредактировать видео по своему желанию. Это не может не волновать специалистов.

Мы признаём, что плохие люди могут использовать данные технологии для фальсификации публичных заявлений и клеветы на известных людей. Мы обеспокоены возможностью обмана и злоупотребления.

Технологии монтажа видео доступны давно, так что не стоит ругать учёных за привлечение излишнего внимания к опыту. По мнению специалистов, своей работой они смогут повысить осведомлённость людей о методах редактирования записей и мотивировать зрителей скептически относиться к тому, что они видят.

Несмотря на потенциальные угрозы, людям не стоит бояться новых технологий. Программистка показала, что искусственный интеллект тоже может стареть и сходить с ума. Для этого ему достаточно забыть всё об окружающем мире.

Современные люди, наоборот, показывают чудеса умственного развития. Канадский турист приехал во Францию и смог открыть таинственный сейф, который у местных жителей не получалось взломать 40 лет. Не зря старался, ведь он спас музей от закрытия.