Технологии и системы трекинга камер XR и VP студий

Что такое трекинг камеры и зачем он нужен ?

Трекинг (Camera Tracking) в виртуальном продакшене - это процесс захвата и передачи данных о положении и ориентации физической камеры в реальном времени. Система непрерывно считывает координаты съемочного оборудования и мгновенно передаёт их в движок рендеринга, например Unreal Engine.

В результате виртуальная камера в цифровом пространстве движется абсолютно синхронно с реальной. Перспектива, параллакс, смещение фона - все элементы трехмерного изображения, воспроизводимого на LED экранах, ведут себя так, как в физическом мире. Границы между материальными объектами и виртуальной средой исчезают.

Именно трекинг создает технологию In-Camera Visual Effects (ICVFX) и является ключевым элементом XR и VP студий со светодиодными дисплеями.


Основные методы трекинга камер.

На сегодняшний день существует несколько принципиально разных способов отслеживания положения съемочного оборудования. У каждого своя цена, параметры, точность и ограничения.


• Оптический трекинг.

Система использует специальные маркеры, размещённые на потолке или полу студии. Трекер запоминает их координаты и непрерывно вычисляет своё положение в пространстве, ориентируясь на созданную «карту» пространства. Метод обеспечивает высокую точность - после первоначальной настройки не требует повторной калибровки при каждой смене. Технология используется в решениях Mo-Sys Star-Tracker, stYpe.

• Плюсы: Высокая точность, однократная установка маркеров в студии.
• Минусы: Дорогостоящее оборудование, сложность первичного внедрения.


• Механический трекинг.

Датчики крепятся непосредственно к крану, тележке или голове камеры и считывают угловые и позиционные данные. Подход точный, универсальный и требует калибровки лишь один раз. Система привязана к конструктиву съемочного оборудования (кран, штатив) - для ручных съёмок не подходит.

• Плюсы: Высокая точность, однократная настройка, надёжность.
• Минусы: Не поддерживает съёмку с рук, высокая стоимость, требуются дополнительные решения для передачи данных в движок.


• Безмаркерный (Markerless) трекинг.

Система анализирует сцену и выделяет характерные точки окружения для привязки, без какой-либо предварительной подготовки пространства. Идеальный вариант для съёмок на натуре или вне студии. Представитель технологии - Ncam Technologies.

• Плюсы: Не нужно расставлять маркеры, отлично работает на открытых локациях.
• Минусы: Точность зависит от количества статичных объектов в кадре, калибровка бывает неточной.


• IMU и Lighthouse-трекинг.

Инерционный измерительный модуль (IMU), встроенный в трекер, в сочетании с маяками (Lighthouse), сканирующими пространство с помощью ИК и лазерных лучей, добавляют физические точки отсчёта и фиксируют положение камеры. Самый доступный вариант на рынке - HTC Vive Tracker.

• Плюсы: Низкие стоимость и входной порог для небольших студий и бюджетных проектов.
• Минусы: Менее точен по сравнению с профессиональными системами, настройка и поддержка требуют усилий.


Ведущие системы трекинга камер для виртуального продакшена.

Рынок предлагает широкую палитру решений для студий любого масштаба - от голливудских кино-павильонов до компактных XR площадок начального уровня:

• Mo-Sys и stYpe - профессиональный стандарт оптического трекинга.
• OptiTrack и Vicon - решения на основе инфракрасных маркеров, популярны в motion capture.
• Ncam - лидер в разработке систем безмаркерного трекинга.
• Pixotope TrackMen - трекинг-система интегрированная в платформу виртуального производства Pixotope.
• Sony Ocellus - часть фирменной экосистемы XR / VP студий от одного из ведущих производителей электроники.
• HTC Vive Tracker - доступный трекинг камер для небольших и бюджетных площадок.







Передовые ИИ инструменты XR студий MetaBox

Пайплайн виртуального производства студий MetaBox