В дополненную реальность от Google можно попасть с обычного ноутбука. Мы тоже попробовали, но вышло странно

Дмитрий Степин Дмитрий Степин

Специалисты из Google Creative Lab представили новый эксперимент с дополненной реальностью: программа Move Mirror помогает превратить движения человека в гифку из фотографий с людьми в таких же позах, как у него. Проект, который выглядит как обычное развлечение, должен позволить лучше отработать алгоритмы распознавания движений. TKSAG испытал эту дополненную реальность, и результаты были несколько неожиданными.

Разработчики Джейн Фридхофф и Ирен Альварадо представили новый проект от Google Creative Lab — программу Move Mirror, которая позволяет записывать свои движения и создавать бесполезную, но занятную копию получившегося ролика с помощью библиотеки из 80 тысяч изображений. Пользователю просто нужно зайти на сайт проекта и включить веб-камеру, пишет The Next Web.

Move Mirror распознаёт движения пользователя с помощью системы PoseNet, которая отслеживает расположение рук, ног, головы и очертаний туловища. Затем специальный алгоритм сопоставляет каждый кадр и изображениями из библиотеки фотографий с людьми, стоящими в разных позах. Вот что получается по словам разработчиков.

via Gfycat

Алгоритм распознания движений, задействованный в Move Mirror, позволяет отслеживать действия пользователей даже на размытых изображениях, видео низкого качества и чёрно-белых картинках, утверждают создатели в издании Medium. Тех, кто не хочет делиться своим видео с веб-камеры ноутбука с компанией Google, утешают: данные даже не передаются в интернет, весь процесс происходит в памяти компьютера пользователя. Создатели Move Mirror также выпустили промо-ролик, объясняющий его действие. Похоже на работу приложения дополненной реальности от Apple, которое разработчики планируют выпустить осенью — оно должно позволить управлять iPhone при помощи взгляда.

Автор этого текста попробовал воспользоваться Move Mirror сам. Попасть в дополненную реальность очень просто: достаточно зайти на сайт проекта и разрешить ему задействовать веб-камеру устройства. Move Mirror тут же начнёт подбирать картинки, похожие на то, что он видит — правда, его библиотека не рассчитана на близкую съёмку лиц, так что в правой части экрана будут появляться случайные фотографии.

А вот дальше начинаются сложности. Чтобы программа видела все ключевые точки тела, нужно встать так, чтобы попадать в камеру в полный рост. А в случае с маленькой камерой ноутбука придётся отойти на несколько метров — не в каждой комнате найдётся достаточно ничем не загороженного места. Но тест программы всё же начался. Мы решили начать с простых, но заметных движений: сесть и встать, наклониться, взять в руки случайный предмет. Вот как это увидело Move Mirror.

via GIPHY

Попытку сесть на пол алгоритм не распознал, потому что не рассчитан на определение расстояния до тех или иных предметов. Ноги, вытянутые в сторону камеры, он видит просто как укороченные. В нескольких кадрах Move Mirror переставал правильно отслеживать движения рук. А если посмотреть на сменяющиеся картинки справа, то оказывается, что относительно правильно он передал всего одно движение — наклон всего тела, который сложно пропустить.

Но главная сложность, которую удалось обнаружить после первой попытки — алгоритм отслеживает всего около 10 кадров в секунду, а в готовой гифке они сменяются очень быстро, и все движения кажутся ускоренными. При быстрых движениях метки программы не успевают за движениями тела, поэтому при второй попытке пришлось двигаться медленнее и только в одной плоскости, не приближаясь и не отдаляясь.

via GIPHY

На первый взгляд кажется, что всё прошло ещё хуже: алгоритм теряет из вида руки и ноги, как только они начинают двигаться, а картинки справа — это просто беспорядочный набор стоящих в почти одинаковых позах людей. Но на самом деле более медленные движения помогли увидеть ещё одну ошибку обращения с программой.

Фон был неоднородным — очень тёмная дверь и очень светлая стена. Как только какая-то часть тела пересекала их границу, Move Mirror путался и начинал показывать не то, что нужно. Для третьей попытки понадобилось выбрать другое место с более ровным освещением, чтобы даже на фоне стен и дверей разного цвета все части тела были хорошо видны.

via GIPHY

В левой части гифки всё получилось почти так, как нужно. Метки дополненной реальности поспевали за движениями, а ноги перестали отслеживаться только на то мгновение, когда частично вышли за кадр. Но вот справа…

Там, где герои случайных фотографий должны повторять все движения, снова возникают люди в случайных позах, в основном совершенно непохожих на образцы в левой части. И здесь, скорее всего, проблема в библиотеке изображений: 80 тысяч картинок — не такая уж большая подборка. Возможно, её просто не хватило, чтобы охватить эти простые вобщем-то позы.

Тем не менее, нейросетевой алгоритм программы постоянно обучается, и, возможно, со временем станет работать гораздо лучше. Поиграться с дополненной реальностью самому можно на сайте Move Mirror, только понадобится просторная комната с ярким освещением и хорошая веб-камера.

Тем временем проектам, связанным с дополненной реальностью, уже нашлось много необычных применений. В США с помощью такой технологии смогли поймать преступника, который сбежал от полиции и запутал следы. А британская студия дизайна разработала проект, в котором человек может почувствовать себя в теле животного с органами восприятия, которых нет у людей. Клиенты этой студии узнают, каково видеть углекислый газ или чувствовать движение собственных крыльев за спиной.