Новая нейросеть от Facebook превращает людей из видео в управляемых героев. Это магия, но поверить в неё легко

Исследователи Facebook разработали нейросеть, которая превращает человека из видео в игрового персонажа. Искусственный интеллект не только делает из вас управляемого героя, но и позволяет перенестись в сцены из других роликов. Ещё немного, и сыграть в теннис можно будет даже на Эвересте.

Специалисты и разработчики со всего мира постоянно радуют любителей технологий новыми изобретениями. Благодаря этим ребятам люди могут попасть в дополненную реальность от Google и даже посмотреть на лица несуществующих человеков. Исследователи Facebook пошли дальше и в середине апреля представили технологию, с помощью которой вы можете стать персонажем видеоигры о собственной жизни.

Разработка на основе искусственного интеллекта получила название Vid2Game, а статья о проекте была опубликована на сайте Корнеллского университета. Действие программы предельно простое, но результат сродни магическому.

Мы берём видео человека, выполняющего определённую деятельность, и извлекаем из него управляемую модель.

Если не вдаваться в технические подробности, программа сканирует человека из видео, а затем на основе образа создаёт героя, которым можно управлять при помощи геймпада. Процесс контролируют нейросети, специально разработанные для проекта, — Pose2Pose и Pose2Frame.

Сначала ролик обрабатывает первый ИИ, который анализирует движения человека. Персонаж может танцевать, играть в теннис или сидеть на стуле — нейросеть, по словам создателей, это вычислит и вырежет героя из видео.

После этого в дело вступает второй ИИ. Pose2Frame берёт вырезанного из ролика человека (тени и предметы в руках прилагаются) и вставляет его в новую сцену. Поздравляем, теперь у вас есть новый управляемый графический персонаж (даже если это вы сами). Только не забывайте — герой в новой локации сможет выполнять лишь те действия, которые продемонстрировал в оригинальном видео.

Оценить новые возможности нейросетей можно здесь.

Как уверяют разработчики, у программы есть много плюсов. Она отлично отделяет выбранного героя от фона и не путает его с другими людьми. Исследователи не рассказали, смогут ли опробовать программу обычные пользователи. Вероятно, эксперты продолжают работу над проектом, так как качество итоговых роликов требует улучшений.

Похожим образом работает нейросеть, созданная учёными из Калифорнийского университета. Технология не перенесёт вас в видеоигру, зато заставит танцевать как профи даже без подготовки.

На фоне развития технологий люди учатся использовать во благо даже фейлы искусственного интеллекта. Например, с некоторых пор вы можете стать Виктором Франкенштейном и создать своего страшного человека. Главное, не перестараться с жутью.