TSCom-Net: Coarse-to-Fine 3D Textured Shape Completion Network

要約

3D 部分テクスチャ スキャンから 3D 人体形状を再構築することは、多くのコンピューター ビジョンおよびグラフィックス アプリケーション (ボディ アニメーション、仮想ドレッシングなど) にとって依然として基本的なタスクです。
3D ボディ形状と高解像度テクスチャの完成のための新しいニューラル ネットワーク アーキテクチャ (BCom-Net) を提案します。これは、中間レベルから高レベルの部分入力スキャンまでの完全なジオメトリを再構築できます。
全体的な再構成タスクを 2 つの段階に分解します。最初に、ボクセル化されたスキャンとその占有グリッドを入力として受け取り、体全体の形状を再構成し、頂点テクスチャを予測する共同暗黙的学習ネットワーク (SCom-Net および TCom-Net) です。
2 つ目は、予測された粗い頂点テクスチャを利用して、部分的な「テクスチャ アトラス」の欠落部分を修復する高解像度テクスチャ補完ネットワークです。
3DBodyTex.V2 データセットの徹底的な実験的評価は、さまざまなタイプとレベルの部分形状に一般化しながら、最先端技術に関して競争力のある結果を達成することを示しています。
提案された方法は、SHApe Recovery from Partial textured 3D scans (SHARP [38,1]) 2022 チャレンジ 1 のトラック 1 でも 2 位にランクされました。

要約(オリジナル)

Reconstructing 3D human body shapes from 3D partial textured scans remains a fundamental task for many computer vision and graphics applications — e.g., body animation, and virtual dressing. We propose a new neural network architecture for 3D body shape and high-resolution texture completion — BCom-Net — that can reconstruct the full geometry from mid-level to high-level partial input scans. We decompose the overall reconstruction task into two stages – first, a joint implicit learning network (SCom-Net and TCom-Net) that takes a voxelized scan and its occupancy grid as input to reconstruct the full body shape and predict vertex textures. Second, a high-resolution texture completion network, that utilizes the predicted coarse vertex textures to inpaint the missing parts of the partial ‘texture atlas’. A thorough experimental evaluation on 3DBodyTex.V2 dataset shows that our method achieves competitive results with respect to the state-of-the-art while generalizing to different types and levels of partial shapes. The proposed method has also ranked second in the track1 of SHApe Recovery from Partial textured 3D scans (SHARP [38,1]) 2022 challenge1.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google