Real-time Free-view Human Rendering from Sparse-view RGB Videos using Double Unprojected Textures

要約

スパース ビュー RGB 入力からのリアルタイム フリー ビュー ヒューマン レンダリングは、センサーの不足と限られた時間予算のため、困難な作業です。
効率を確保するために、最近の方法ではテクスチャ空間で動作する 2D CNN を利用してレンダリング プリミティブを学習します。
ただし、これらはジオメトリと外観を共同で学習するか、ジオメトリ推定のまばらな画像情報を完全に無視するため、視覚的な品質と目に見えない体のポーズに対する堅牢性が大幅に損なわれます。
これらの問題に対処するために、私たちは Double Unprojected Textures を提案します。これは基本的に、外観の合成から粗い幾何学的変形推定を解きほぐし、堅牢でフォトリアリスティックな 4K レンダリングをリアルタイムで可能にします。
具体的には、最初に、最初の非投影テクスチャから人間のテンプレートの粗い変形を推定する、新しい画像条件付きテンプレート変形ネットワークを導入します。
この更新されたジオメトリは、2 番目のより正確なテクスチャ非投影を適用するために使用されます。
結果として得られるテクスチャ マップにはアーティファクトが少なく、入力ビューとの位置合わせが向上しているため、より詳細なレベルのジオメトリとガウス スプラットで表される外観の学習に役立ちます。
提案手法の有効性と効率性を定量的および定性的実験で検証し、他の最先端の手法を大幅に上回ります。

要約(オリジナル)

Real-time free-view human rendering from sparse-view RGB inputs is a challenging task due to the sensor scarcity and the tight time budget. To ensure efficiency, recent methods leverage 2D CNNs operating in texture space to learn rendering primitives. However, they either jointly learn geometry and appearance, or completely ignore sparse image information for geometry estimation, significantly harming visual quality and robustness to unseen body poses. To address these issues, we present Double Unprojected Textures, which at the core disentangles coarse geometric deformation estimation from appearance synthesis, enabling robust and photorealistic 4K rendering in real-time. Specifically, we first introduce a novel image-conditioned template deformation network, which estimates the coarse deformation of the human template from a first unprojected texture. This updated geometry is then used to apply a second and more accurate texture unprojection. The resulting texture map has fewer artifacts and better alignment with input views, which benefits our learning of finer-level geometry and appearance represented by Gaussian splats. We validate the effectiveness and efficiency of the proposed method in quantitative and qualitative experiments, which significantly surpasses other state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google