О проекте
Детали
Интерактивная аудио-реактивная XR сцена
Клиент: Will.i.am
Сделано вместе с Visionaries и the Vessel
Год: 2025
Я начал этот проект с простой установки: один компьютерный экран, камера Kinect и игрушка Человека-паука перед ним. Я снимал на телефон, пока Kinect отслеживал мое лицо, а 3D-визуализация смещалась так, чтобы всегда попадать в идеальный угол.
Затем мы подняли всё на новый уровень в Сербии. Представьте: три стены и потолок, покрытые экранами, оборачивающимися вокруг меня как нового героя — больше никакого Человека-паука. Камеру отслеживал VR-джойстик Vive, и визуалы двигались вместе с ним.
Главная магия происходила в TouchDesigner — программе, которая управляла всем этим. Мой ноутбук в реальном времени запускал визуалы, танцевавшие под музыку. Исполнитель стоял перед камерой, оператор следил за ним с VR-джойстиком, и изображение с камеры показывало тот самый идеальный ракурс — всё вживую. Никакого сложного пост-продакшна — всё, что вы видели, происходило прямо здесь и сейчас.
Мы также сделали исполнителя частью шоу. С помощью камер глубины его движения управляли частицами на стенах экранов, словно он рисовал светом. Было невероятно наблюдать, как его энергия в реальном времени формировала визуалы.
В Лос-Анджелесе мы сделали ещё масштабнее. Добавили экран на полу и заменили VR-джойстик на сверхточный трекер MoSys на камере. Экраны стали больше, визуалы — чётче, и мы протестировали самые разные эффекты, чтобы убедиться, что система выдержит всё.
Кульминацией стала пробная съёмка с Gunna. VJ-щики управляли эффектами, Gunna исполнил свою песню вживую, а оператор снял всё это. Визуалы пульсировали в ритм музыки, трекинг удерживал каждый кадр идеальным — и это ощущалось как взгляд в будущее живых выступлений.
XR сцена на студии Will.i.am
