R2Human: Real-Time 3D Human Appearance Rendering from a Single Image

要約

単一の画像から 3D 人間の外観をリアルタイムでレンダリングすることは、ホログラフィック コミュニケーションと没入型 VR/AR を実現するために重要です。
既存の方法は、マルチカメラのセットアップに依存するか、オフライン操作に制約されます。
この論文では、単一の画像からフォトリアリスティックな 3D 人間の外観をリアルタイムで推論およびレンダリングするための最初のアプローチである R2Human を提案します。
私たちのアプローチの核心は、暗黙的なテクスチャ フィールドと明示的なニューラル レンダリングの長所を、新しい表現、つまり Z マップと組み合わせることです。
これに基づいて、可視領域の忠実度の高い色再構築を実行し、遮蔽された領域に対して信頼性の高い色の推論を提供するエンドツーエンドのネットワークを紹介します。
ネットワークの 3D 認識能力をさらに強化するために、テクスチャ フィールドを生成し、レンダリング段階でサンプリング サーフェスを提供するための事前処理としてフーリエ占有フィールドを利用します。
また、マルチビューの一貫性を確保するための一貫性の損失と空間融合戦略も提案します。
実験結果は、私たちの方法が合成データと困難な現実世界の画像の両方において、リアルタイムで最先端の方法よりも優れていることを示しています。
プロジェクト ページは http://cic.tju.edu.cn/faculty/likun/projects/R2Human にあります。

要約(オリジナル)

Rendering 3D human appearance from a single image in real-time is crucial for achieving holographic communication and immersive VR/AR. Existing methods either rely on multi-camera setups or are constrained to offline operations. In this paper, we propose R2Human, the first approach for real-time inference and rendering of photorealistic 3D human appearance from a single image. The core of our approach is to combine the strengths of implicit texture fields and explicit neural rendering with our novel representation, namely Z-map. Based on this, we present an end-to-end network that performs high-fidelity color reconstruction of visible areas and provides reliable color inference for occluded regions. To further enhance the 3D perception ability of our network, we leverage the Fourier occupancy field as a prior for generating the texture field and providing a sampling surface in the rendering stage. We also propose a consistency loss and a spatial fusion strategy to ensure the multi-view coherence. Experimental results show that our method outperforms the state-of-the-art methods on both synthetic data and challenging real-world images, in real-time. The project page can be found at http://cic.tju.edu.cn/faculty/likun/projects/R2Human.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google