RelightableHands: Efficient Neural Relighting of Articulated Hand Models

要約

新しい照明の下でリアルタイムでアニメーション化できる、忠実度の高いパーソナライズされた手をレンダリングするための最初のニューラル リライティング アプローチを提示します。
私たちのアプローチは、教師と生徒のフレームワークを採用しています。教師は、光のステージでキャプチャされた画像から単一の点光の下で外観を学習し、任意の照明で手の合成を行うことができますが、計算量は多くなります。
効率的な生徒モデルは、教師モデルによってレンダリングされた画像をトレーニング データとして使用して、自然光の下での外観をリアルタイムで直接予測します。
一般化を達成するために、可視性、拡散シェーディング、粗いプロキシ ジオメトリで計算された鏡面反射などの物理学に着想を得た照明機能を使用して学生モデルを調整し、計算オーバーヘッドを小さく維持します。
私たちの重要な洞察は、これらの機能がその後のグローバルな光輸送効果と強い相関関係にあり、ニューラル リライティング ネットワークのデータを調整するのに十分であることが証明されていることです。
さらに、ボトルネック イルミネーション コンディショニングとは対照的に、これらの機能は基礎となるジオメトリに基づいて空間的に整列され、目に見えないイルミネーションとポーズへのより良い一般化につながります。
私たちの実験では、ベースラインアプローチよりも優れた照明機能表現の有効性を示しています。
また、私たちのアプローチが、相互作用する 2 つの手をリアルタイムの速度でフォトリアリスティックに再照明できることも示します。
https://sh8.io/#/relightable_hands

要約(オリジナル)

We present the first neural relighting approach for rendering high-fidelity personalized hands that can be animated in real-time under novel illumination. Our approach adopts a teacher-student framework, where the teacher learns appearance under a single point light from images captured in a light-stage, allowing us to synthesize hands in arbitrary illuminations but with heavy compute. Using images rendered by the teacher model as training data, an efficient student model directly predicts appearance under natural illuminations in real-time. To achieve generalization, we condition the student model with physics-inspired illumination features such as visibility, diffuse shading, and specular reflections computed on a coarse proxy geometry, maintaining a small computational overhead. Our key insight is that these features have strong correlation with subsequent global light transport effects, which proves sufficient as conditioning data for the neural relighting network. Moreover, in contrast to bottleneck illumination conditioning, these features are spatially aligned based on underlying geometry, leading to better generalization to unseen illuminations and poses. In our experiments, we demonstrate the efficacy of our illumination feature representations, outperforming baseline approaches. We also show that our approach can photorealistically relight two interacting hands at real-time speeds. https://sh8.io/#/relightable_hands

arxiv情報

提供元, 利用サービス

arxiv.jp, Google