ReFu: Refine and Fuse the Unobserved View for Detail-Preserving Single-Image 3D Human Reconstruction

要約

単一画像3D人体復元は、1枚の画像から人体の3Dテクスチャ表面を復元することを目的としている。近年、陰関数に基づく手法は合理的な再構成性能を達成しているが、未観測の視点からの表面形状とテクスチャの両方において品質が劣化するという限界がある。そこで我々は、リアルな質感を持つ表面を生成するために、裏面投影画像を精細化し、精細化した画像を融合して最終的な人体を予測するReFuという粗-精細化手法を提案する。投影画像や再構成メッシュのノイズの原因となる占有率の拡散を抑制するため、占有率ベースのボリュームレンダリングによる2Dと3Dのスーパービジョンを同時に利用した占有率確率の学習を提案する。さらに，前後方向のワーピングを行うことで，ディテールを保持したバックサイドビュー画像を生成する洗練化アーキテクチャを導入する．本手法は、1枚の画像から3次元人体復元において最先端の性能を達成し、観察されていないビューからのジオメトリとテクスチャの品質が向上していることを広範な実験により実証している。

要約(オリジナル)

Single-image 3D human reconstruction aims to reconstruct the 3D textured surface of the human body given a single image. While implicit function-based methods recently achieved reasonable reconstruction performance, they still bear limitations showing degraded quality in both surface geometry and texture from an unobserved view. In response, to generate a realistic textured surface, we propose ReFu, a coarse-to-fine approach that refines the projected backside view image and fuses the refined image to predict the final human body. To suppress the diffused occupancy that causes noise in projection images and reconstructed meshes, we propose to train occupancy probability by simultaneously utilizing 2D and 3D supervisions with occupancy-based volume rendering. We also introduce a refinement architecture that generates detail-preserving backside-view images with front-to-back warping. Extensive experiments demonstrate that our method achieves state-of-the-art performance in 3D human reconstruction from a single image, showing enhanced geometry and texture quality from an unobserved view.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL