Unify3D: An Augmented Holistic End-to-end Monocular 3D Human Reconstruction via Anatomy Shaping and Twins Negotiating

要約

Monocular 3D Clooded Human Reconstructionは、単一の画像から完全な3Dアバターを作成することを目的としています。
1つのRGB画像に欠けている人間の幾何学に取り組むために、現在の方法は通常、明示的な幾何学的表現の前のモデルに頼ります。
再構成自体については、ITと入力画像の両方のモデリングに焦点を当てています。
このルーチンは、前のモデルによって制約されており、再構成タスクの完全性を見落としています。
これに対処するために、このペーパーでは、2D画像から3Dアバターへの直接予測のエンドツーエンドネットワークを利用して、明示的な中間ジオメトリディスプレイを排除するエンドツーエンドネットワークを使用して、全体的なプロセスとして人間の再構成を扱う新しいパラダイムを紹介します。
これに基づいて、2つのコアコンポーネントで構成される新しい再構成フレームワークをさらに提案します。解剖学的形状抽出モジュールは、人間の解剖学の専門性を考慮した暗黙の形状機能をキャプチャします。
さらに、コミックデータ増強戦略を提案し、15K+ 3Dヒトスキャンを構築して、より複雑なケース入力でモデルのパフォーマンスを強化します。
2つのテストセットと多くの野生の症例に関する広範な実験は、SOTAメソッドよりも私たちの方法の優位性を示しています。
私たちのデモは、https：//e2e3dgsrecon.github.io/e2e3dgsrecon/にあります。

要約(オリジナル)

Monocular 3D clothed human reconstruction aims to create a complete 3D avatar from a single image. To tackle the human geometry lacking in one RGB image, current methods typically resort to a preceding model for an explicit geometric representation. For the reconstruction itself, focus is on modeling both it and the input image. This routine is constrained by the preceding model, and overlooks the integrity of the reconstruction task. To address this, this paper introduces a novel paradigm that treats human reconstruction as a holistic process, utilizing an end-to-end network for direct prediction from 2D image to 3D avatar, eliminating any explicit intermediate geometry display. Based on this, we further propose a novel reconstruction framework consisting of two core components: the Anatomy Shaping Extraction module, which captures implicit shape features taking into account the specialty of human anatomy, and the Twins Negotiating Reconstruction U-Net, which enhances reconstruction through feature interaction between two U-Nets of different modalities. Moreover, we propose a Comic Data Augmentation strategy and construct 15k+ 3D human scans to bolster model performance in more complex case input. Extensive experiments on two test sets and many in-the-wild cases show the superiority of our method over SOTA methods. Our demos can be found in : https://e2e3dgsrecon.github.io/e2e3dgsrecon/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google