Из кадра — в студию: как нейросеть научилась менять свет на любом фото

Новое средство позволяет менять свет на фотографиях как в 3D-редакторе, пишет Tech Xplore.

Этот инструмент разработали учёные из Университета Саймона Фрейзера. Раньше после съёмки изображение освещено — и изменить это было непросто.

Редактирование (relighting) требовало больших усилий: художники вручную обрабатывали каждый кадр. Новая технология меняет правила игры: она сначала восстанавливает 3D-модель сцены, затем позволяет виртуально размещать источники света — словно в 3D-редакторе — и получает физически точный итоговый кадр.

Процесс начинается с анализа фотографий или видео: алгоритм строит упрощённую 3D-структуру сцены, включая форму поверхностей и цвета, но без учёта освещения. Пользователь размещает виртуальные лампы, как в студии, задаёт их интенсивность, направление и цвет.

Специальная нейросеть обрабатывает это и трансформирует в реалистичное изображение, учитывая тени, отражения и световые эффекты — создаётся эффект естественного освещения, как в студии или при съёмках в Blender или Unreal Engine.

Результат выглядит правдоподобно и естественно.

На данный момент система работает с неподвижными изображениями, но исследователи уже планируют расширить её и на видеоформат. Это может стать мощным инструментом для визуальных эффектов (VFX), фильмов и независимых авторов: возможность корректировать свет после съёмки сэкономит время и средства — отпадёт необходимость повторной съёмки или дорогостоящего оборудования.

Этот подход — ещё один шаг к тому, чтобы смешать фотографию и 3D-графику в момент съёмки. В итоге, даже без доступа к сложным студийным условиям, авторы могут менять свет, тени и атмосферу изображения постфактум.

И для независимых кинематографистов, блогеров и digital-художников это может стать настоящим прорывом.