3D-двойники людей, животных и не только

1,3k full reads
3,4k story viewsUnique page visitors
1,3k read the story to the endThat's 38% of the total page views
1,5 minute — average reading time
3D-двойники людей, животных и не только

В кино часто показывают не настоящих людей, а их цифровые копии. Такие создает московская студия Twin3D: сканеры делают 3D-двойников. Скоро студия выпустит приложение, в котором пользователи смогут сами создавать реалистичные аватары. Узнали у основателя и CEO компании Алексея Белокопытова , как это работает.

Слева направо: директор по технологиям Ефим Боеру, арт-директор Анна Бабаева, CEO Алексей Белокопытов.
Слева направо: директор по технологиям Ефим Боеру, арт-директор Анна Бабаева, CEO Алексей Белокопытов.
Слева направо: директор по технологиям Ефим Боеру, арт-директор Анна Бабаева, CEO Алексей Белокопытов.

История Twin3d началась в 2013 году. Сначала мы делали фотореалистичные миниатюрные фигурки людей с помощью 3D-сканирования и 3D-печати. Клиенты заказывали их в качестве подарков на дни рождения и другие праздники.

Про нас быстро узнали разработчики игрового контента и спецэффектов в кино. И в 2015 году мы отказались от 3D-печати и сконцентрировались на работе с B2B-клиентами. Начали создавать цифровых актеров и реквизит для кинематографа, разрабатывать персонажей для игр и VR/AR.

Как устроен сканер

Технология называется фотограмметрия. Главное устройство — сканер, который состоит из множества синхронизированных фотоаппаратов. Сейчас в нашем сканере 170 профессиональных фотоаппаратов Canon. Фотоаппараты закреплены на 20 колоннах, которые стоят по кругу. Мы ставим объект в центр круга и с помощью освещения и одновременной съемки за долю секунды получаем массив фотографий с разных сторон. Дальше с помощью программного обеспечения собираем трехмерную модель высочайшей точности, которую не отличить от настоящего человека.

3D-двойники людей, животных и не только
3D-двойники людей, животных и не только

Каждый сканер уникальный

Когда мы запускали проект, подобные системы сканирования уже существовали в Европе и в Америке. Но их было немного, потому что оборудование дорогое, систему довольно сложно собирать и поддерживать.

Мы съездили в Берлин, чтобы посмотреть, как у них устроен подобный сканер. Но такие системы всегда кастомные — вы не найдете абсолютно одинаковые сканеры. Мы сделали свою вариацию системы, которую можно быстро демонтировать и перевозить. Это очень удобно для кинопроектов. Мы выезжаем на съемочные площадки и сканируем уже загримированных актеров, чаще всего массовку.

Мы постоянно улучшаем сканер. Сначала мы искали готовые стойки, на которые навешаны камеры, а потом сделали на заказ. Раньше в системе было 80 камер, а теперь 170. А еще мы улучшили освещение.
Мы постоянно улучшаем сканер. Сначала мы искали готовые стойки, на которые навешаны камеры, а потом сделали на заказ. Раньше в системе было 80 камер, а теперь 170. А еще мы улучшили освещение.
Мы постоянно улучшаем сканер. Сначала мы искали готовые стойки, на которые навешаны камеры, а потом сделали на заказ. Раньше в системе было 80 камер, а теперь 170. А еще мы улучшили освещение.

Сканировать быстрее и дешевле

Сканировать массовку экономически выгодно, потому что из десяти человек можно сделать, условно говоря, миллион.

Нарисовать реалистичного персонажа для игр затратнее. В мире есть буквально двадцать 3D-моделлеров, которые могут качественно это сделать. И, как правило, это несколько месяцев на одного персонажа. Поэтому все крупные геймдев-проекты Triple-A-качества активно используют фотограмметрию.

Выездная система сканирования на съемках «Союза спасения».
Выездная система сканирования на съемках «Союза спасения».
Выездная система сканирования на съемках «Союза спасения».

Что и кого можно сканировать

Сканируем не только людей. Бывают заказы на 3D-модели животных: сканировали лошадей, собак, кошек, коров. Бывают — на сканирование реквизита для компьютерных игр и кино. Для исторических кинокартин часто сканируем утварь, сундуки, оружие. Для фильма «Союз спасения» сканировали много оружия и элементы одежды наполеоновских времен. Для фантастического фильма «Вратарь Галактики» сканировали отдельные элементы одежды и аксессуары главных героев.

У нас много крупных кейсов. Мы делали сканирование для фильмов «Вторжение», «Лед-2», «Девятая», игры King’s Bounty II, платформы виртуальной реальности Sensorium XR.

Еще одно из направлений нашей работы — создание цифровых инфлюенсеров для Instagram и YouTube, то есть цифровых амбассадоров брендов. Это развивающийся тренд в сфере digital-рекламы. Сейчас мы создаем мини-сериал для соцсетей о том, как рождается аватар. Зрители не только увидят сканирование и оживление цифрового человека, но и смогут поучаствовать в его судьбе. Можно будет обсуждать характер и навыки этого персонажа. Мы хотим, чтобы он был максимально живым и естественным.

Для фильма «Союз спасения» выезжали в Санкт-Петербург и отсканировали около тысячи актеров массовки в исторических костюмах.
Для фильма «Союз спасения» выезжали в Санкт-Петербург и отсканировали около тысячи актеров массовки в исторических костюмах.
Для фильма «Союз спасения» выезжали в Санкт-Петербург и отсканировали около тысячи актеров массовки в исторических костюмах.

Сканер мимики

У нас есть аппарат для сканирования лица. Он меньше, концентрация камер в нем выше, отличается система освещения. Сейчас мы завершаем разработку технологии, когда камеры срабатывают не одновременно, а по определенному алгоритму. Свой алгоритм есть у освещения. Технология называется photometric stereo. С помощью нее мы будем получать normal map — модель, у которой при разном положении лица свет по-разному отражается от кожи. Как в реальности! Вы не отличите эту цифровую 3D-модель от лица реального человека.

Система лицевого сканирования.
Система лицевого сканирования.
Система лицевого сканирования.
Модель, выполненная с помощью лицевого сканера.
Модель, выполненная с помощью лицевого сканера.
Модель, выполненная с помощью лицевого сканера.

Как сделать реалистичного человека

Фокус с кожей работает только в статике. Чтобы уйти от «зловещей долины» — так называют неприятное ощущение, которое возникает, когда человек понимает, что смотрит не на настоящего человека, а на цифровую 3D-модель, нужно обеспечить качественную 3D-анимацию. Необходимо сделать хорошо проработанный скелет, на который надевается оболочка в виде 3D-модели. Еще нужно выполнить качественную лицевую анимацию и анимацию движения — для этого используют систему захвата движений (motion capture). Эти технологии идут рука об руку с 3D-сканированием человека. И вот если все эти компоненты выполнены правильно, то мы получаем модель, которую практически невозможно отличить от реального человека.

Аватар по фотографии

С начала 2020 года мы начали разрабатывать новый продукт. К компании присоединился выпускник МФТИ и Сколтеха, специалист по data science и по компьютерному зрению Ефим Боеру. До этого он руководил командами разработки систем компьютерного зрения в Bosch и Huawei, а в Twin3d занял должность директора по технологиям.

Мы разрабатываем софт, с помощью которого пользователи смогут самостоятельно создавать точный цифровой аватар буквально по нескольким селфи. Он будет полезен для игровой индустрии — геймеры смогут за пару минут создавать собственные аватары и играть за них. Для онлайн-шопинга — покупатели будут виртуально примерять одежду. Для образовательных платформ и так далее.

Геймеры смогут за пару минут создавать собственные аватары и играть за них.
3D-двойники людей, животных и не только

Проект победил в третьем сезоне Школы стартапов Skolkovo . В течение месяца мы учились развивать стартап от маркетинга до управления финансами.

Этот опыт ускорит разработку алгоритма. Мы планируем, что наш продукт появится на рынке в конце 2021 года.

Прокачали скиллы и получили заслуженный сертификат.
Прокачали скиллы и получили заслуженный сертификат.
Прокачали скиллы и получили заслуженный сертификат.

Сейчас Twin3d ищут в команду нового проекта инженеров по компьютерному зрению, дата-сайентистов и программистов.