Радужка

Наш проект для фестиваля НУР — это интерактивная инсталляция, обнажающая уникальную красоту человеческого глаза. Гость делает снимок, и через мгновение видит свою радужку на гигантском экране в облаке медитативных визуальных эффектов. Основная сложность заключалась в высокой пропускной способности и нестабильных условиях съемки (блики, засветка). Чтобы не растягивать очередь, у нас было всего 15 секунд на всё: от щелчка затвора до готовой визуализации.

В основе — Python-сервер, который работает постоянно. При запуске он один раз загружает все нейросетевые модели в память, а дальше просто следит за папкой, куда оператор скидывает новые снимки по щелчку фотоаппарата.

Каждый снимок проходит распознавание в три ступени, и побеждает первая, которая сработала:

• MediaPipe Face Mesh — для обычных портретов, где видно лицо: ключевые точки радужки берутся напрямую. Но нам этот путь не очень подходил, радужка получалась слишком мелкой.
• SAM (Segment Anything) по всему кадру — для крупных планов глаза без лица. Среди сегментов находим тёмный зрачок и подходящую по размеру и контрасту радужку вокруг него.
• BlazeFace + SAM по узкому фрагменту вокруг глаза — запасной вариант, когда лицо видно лишь частично.

Дальше идёт набор проверок, которые отсекают ложные срабатывания на бликах, склере и веках.

Из исходника вырезается квадрат с радужкой. Блики убираются нейросетевым инпейнтингом (LaMa), зрачок выравнивается по размеру и встаёт ровно в центр, яркость и цвет приводятся к единому виду. На выходе — чистая радужка на прозрачном фоне с мягким краем.

Готовый кадр уходит в TouchDesigner, и там радужка появляется на большом экране вместе с моими эффектами, в реальном времени.

За три дня фестиваля НУР через инсталляцию прошло 1800 гостей.

Заодно я собрал из этих фотографий анонимную размеченную базу и обучил на ней свою модель для поиска радужки и зрачка. После оптимизации она стала работать примерно в тысячу раз быстрее прежнего алгоритма — около 30 кадров в секунду, то есть уже в реальном времени.