Real-time Free-view Human Rendering from Sparse-view RGB Videos using Double Unprojected Textures

要約

スパースビューRGB入力からのリアルタイムフリービューのヒューマンレンダリングは、センサー不足と厳しい時間予算のために困難な作業です。
効率を確保するために、最近の方法は、テクスチャスペースで動作する2D CNNを活用して、プリミティブのレンダリングを学習します。
ただし、彼らは幾何学と外観を共同で学習するか、ジオメトリ推定のためのまばらな画像情報を完全に無視し、目に見えない体のポーズに対する視覚的な品質と堅牢性を大幅に害します。
これらの問題に対処するために、コアデンタングルでは、外観合成からの粗い幾何学的変形推定をコアしている二重の未処理のテクスチャを提示し、堅牢でフォトリアリスティックな4Kレンダリングをリアルタイムで可能にします。
具体的には、最初に、最初の未測定のテクスチャーからヒトテンプレートの粗い変形を推定する新しい画像条件付きテンプレート変形ネットワークを導入します。
この更新されたジオメトリは、2番目のより正確なテクスチャの展開を適用するために使用されます。
結果として得られるテクスチャマップは、アーティファクトが少なく、入力ビューとより良い整合性があります。これは、Gaussian Splatsに代表されるより細かいレベルのジオメトリと外観の学習に役立ちます。
定量的および定性的実験における提案された方法の有効性と効率を検証し、他の最先端の方法を大幅に上回ります。
プロジェクトページ：https：//vcai.mpi-inf.mpg.de/projects/dut/

要約(オリジナル)

Real-time free-view human rendering from sparse-view RGB inputs is a challenging task due to the sensor scarcity and the tight time budget. To ensure efficiency, recent methods leverage 2D CNNs operating in texture space to learn rendering primitives. However, they either jointly learn geometry and appearance, or completely ignore sparse image information for geometry estimation, significantly harming visual quality and robustness to unseen body poses. To address these issues, we present Double Unprojected Textures, which at the core disentangles coarse geometric deformation estimation from appearance synthesis, enabling robust and photorealistic 4K rendering in real-time. Specifically, we first introduce a novel image-conditioned template deformation network, which estimates the coarse deformation of the human template from a first unprojected texture. This updated geometry is then used to apply a second and more accurate texture unprojection. The resulting texture map has fewer artifacts and better alignment with input views, which benefits our learning of finer-level geometry and appearance represented by Gaussian splats. We validate the effectiveness and efficiency of the proposed method in quantitative and qualitative experiments, which significantly surpasses other state-of-the-art methods. Project page: https://vcai.mpi-inf.mpg.de/projects/DUT/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google