Face Inverse Rendering via Hierarchical Decoupling

要約

以前の顔反転レンダリング方法では、多くの場合、グラウンド トゥルースを使用した合成データや、照明ステージなどの専門機器が必要です。
ただし、合成データまたは事前定義されたライティング プライアを使用してトレーニングされたモデルは、合成データ/ライティング プライアと実際のデータとの間にギャップがあるため、通常、現実世界の状況に対して適切に一般化することができません。
さらに、一般的なユーザーにとっては、専門的な機器とスキルにより、作業が高価で複雑になります。
この論文では、野生の顔画像を対応するアルベド、法線、および照明コンポーネントに分解するためのディープラーニングフレームワークを提案します。
具体的には、分解ネットワークは、任意の視点からキャプチャされた画像ペアを入力として受け取る、階層的な細分化戦略を使用して構築されます。
このようにして、私たちのアプローチはデータ準備のプレッシャーを大幅に軽減し、顔反転レンダリングの適用範囲を大幅に広げることができます。
私たちのデザインの有効性を実証するために広範な実験が行われ、他の最先端の代替手段よりも顔の再照明で優れたパフォーマンスを示しています。
{コードは \url{https://github.com/AutoHDR/HD-Net.git で入手できます}}

要約(オリジナル)

Previous face inverse rendering methods often require synthetic data with ground truth and/or professional equipment like a lighting stage. However, a model trained on synthetic data or using pre-defined lighting priors is typically unable to generalize well for real-world situations, due to the gap between synthetic data/lighting priors and real data. Furthermore, for common users, the professional equipment and skill make the task expensive and complex. In this paper, we propose a deep learning framework to disentangle face images in the wild into their corresponding albedo, normal, and lighting components. Specifically, a decomposition network is built with a hierarchical subdivision strategy, which takes image pairs captured from arbitrary viewpoints as input. In this way, our approach can greatly mitigate the pressure from data preparation, and significantly broaden the applicability of face inverse rendering. Extensive experiments are conducted to demonstrate the efficacy of our design, and show its superior performance in face relighting over other state-of-the-art alternatives. {Our code is available at \url{https://github.com/AutoHDR/HD-Net.git}}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google