USR: Unsupervised Separated 3D Garment and Human Reconstruction via Geometry and Semantic Consistency

要約

画像から服を着た人物を再構築することは、クリエイティブ メディアやゲーム業界で有望なアプリケーションとして人気のあるタスクです。
ただし、ほとんどの既存の方法は、3D モデルの監視を使用して人体と衣服全体を再構築するため、下流の相互作用タスクが妨げられ、取得が困難なデータが必要になります。
これらの問題に対処するために、教師なしで分離された 3D 衣服と人体再構成モデ​​ル (USR) を提案します。
より具体的には、私たちの方法は、まばらな多視点画像と服を着た人々の形状との間のマッピングを学習するために、一般化された表面認識ニューラル放射輝度フィールドを提案します。
完全なジオメトリに基づいて、Semantic and Confidence Guided Separation 戦略 (SCGS) を導入し、2D セマンティックと 3D ジオメトリ間の一貫性を活用して、衣服レイヤーを検出、セグメント化、および再構築します。
さらに、エッジを滑らかにするジオメトリ微調整モジュールを提案します。
私たちのデータセットに関する広範な実験は、最先端の方法と比較して、USR がリアルタイムで目に見えない人々への一般化をサポートしながら、ジオメトリと外観の再構成の両方で改善を達成することを示しています。
また、SMPL-D モデルも紹介し、衣服と人体を分離してモデリングし、衣服の交換と仮想試着を可能にする利点を示します。

要約(オリジナル)

Dressed people reconstruction from images is a popular task with promising applications in the creative media and game industry. However, most existing methods reconstruct the human body and garments as a whole with the supervision of 3D models, which hinders the downstream interaction tasks and requires hard-to-obtain data. To address these issues, we propose an unsupervised separated 3D garments and human reconstruction model (USR), which reconstructs the human body and authentic textured clothes in layers without 3D models. More specifically, our method proposes a generalized surface-aware neural radiance field to learn the mapping between sparse multi-view images and geometries of the dressed people. Based on the full geometry, we introduce a Semantic and Confidence Guided Separation strategy (SCGS) to detect, segment, and reconstruct the clothes layer, leveraging the consistency between 2D semantic and 3D geometry. Moreover, we propose a Geometry Fine-tune Module to smooth edges. Extensive experiments on our dataset show that comparing with state-of-the-art methods, USR achieves improvements on both geometry and appearance reconstruction while supporting generalizing to unseen people in real time. Besides, we also introduce SMPL-D model to show the benefit of the separated modeling of clothes and the human body that allows swapping clothes and virtual try-on.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google