Holo-Relighting: Controllable Volumetric Portrait Relighting from a Single Image

要約

ポートレート写真の核心は、理想的な照明と視点の探求です。
このプロセスでは、多くの場合、写真に関する高度な知識と入念なスタジオのセットアップが必要になります。
本研究では、一枚の画像から新たな視点や新たなライティングを合成できるボリュメトリック・リライティング手法「ホロ・リライティング」を提案します。
Holo-Relighting は、事前トレーニング済み 3D GAN (EG3D) を利用して、入力ポートレートからジオメトリと外観を 3D 対応の特徴のセットとして再構築します。
これらの特徴を処理するために特定の照明を条件とした再照明モジュールを設計し、ボリューム レンダリングを通じて任意の視点にレンダリングできるトライプレーンの形式で再照明 3D 表現を予測します。
視点と照明の制御に加えて、Holo-Relighting は、頭のポーズに依存する照明効果を有効にする条件として頭のポーズも考慮します。
これらの斬新な設計により、ホロ リライティングは、明示的な物理的なライティング プリアを使用せずに、複雑な非ランバーティアン ライティング エフェクト (鏡面ハイライトやキャスト シャドウなど) を生成できます。
私たちは、ライト ステージでキャプチャされたデータを使用してホロ リライティングをトレーニングし、ボリュメトリック リライティング システムをトレーニングするためのデータ品質を向上させる 2 つのデータ レンダリング手法を提案します。
定量的および定性的な実験を通じて、Holo-Relighting がより優れたフォトリアリズム、3D の一貫性、および制御性を備えた最先端のリライティング品質を達成できることを実証します。

要約(オリジナル)

At the core of portrait photography is the search for ideal lighting and viewpoint. The process often requires advanced knowledge in photography and an elaborate studio setup. In this work, we propose Holo-Relighting, a volumetric relighting method that is capable of synthesizing novel viewpoints, and novel lighting from a single image. Holo-Relighting leverages the pretrained 3D GAN (EG3D) to reconstruct geometry and appearance from an input portrait as a set of 3D-aware features. We design a relighting module conditioned on a given lighting to process these features, and predict a relit 3D representation in the form of a tri-plane, which can render to an arbitrary viewpoint through volume rendering. Besides viewpoint and lighting control, Holo-Relighting also takes the head pose as a condition to enable head-pose-dependent lighting effects. With these novel designs, Holo-Relighting can generate complex non-Lambertian lighting effects (e.g., specular highlights and cast shadows) without using any explicit physical lighting priors. We train Holo-Relighting with data captured with a light stage, and propose two data-rendering techniques to improve the data quality for training the volumetric relighting system. Through quantitative and qualitative experiments, we demonstrate Holo-Relighting can achieve state-of-the-arts relighting quality with better photorealism, 3D consistency and controllability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google