MOSS: Motion-based 3D Clothed Human Synthesis from Monocular Video

要約

シングルビューの衣服を着た人間の再構成は、特に人間の複雑な動作を伴うコンテキストにおいて、仮想現実アプリケーションにおいて中心的な位置を占めています。
現実的な衣服の変形を実現するには、顕著な課題があります。
現在の手法では、サーフェス変形に対するモーションの影響が見落とされることが多く、その結果、グローバル モーションによって課せられる制約がサーフェスに欠けてしまいます。
これらの制限を克服するために、モーションベースの 3D Clothed Humans Synthesis (MOSS) という革新的なフレームワークを導入します。これは、運動学的な情報を使用して、人間の表面上でモーションを認識したガウス分割を実現します。
私たちのフレームワークは、Kinematic Gaussian Locating Splatting (KGAS) と Surface Deformation Detector (UID) の 2 つのモジュールで構成されています。
KGAS には、体表面全体にグローバル モーションを伝播するためにマトリックス フィッシャー分布が組み込まれています。
この分布の密度と回転係数はガウス分布を明示的に制御するため、再構成された表面のリアリズムが向上します。
さらに、単一ビューで局所的なオクルージョンに対処するために、KGAS に基づいて UID が重要なサーフェスを識別し、これらの変形を補償するために幾何学的再構成が実行されます。
実験結果は、MOSS が単眼ビデオからの 3D 着衣人間合成において最先端の視覚品質を達成することを示しています。
特に、LPIPS* では Human NeRF とガウス スプラッティングがそれぞれ 33.94% と 16.75% 改善されました。
コードは https://wanghongsheng01.github.io/MOSS/ で入手できます。

要約(オリジナル)

Single-view clothed human reconstruction holds a central position in virtual reality applications, especially in contexts involving intricate human motions. It presents notable challenges in achieving realistic clothing deformation. Current methodologies often overlook the influence of motion on surface deformation, resulting in surfaces lacking the constraints imposed by global motion. To overcome these limitations, we introduce an innovative framework, Motion-Based 3D Clothed Humans Synthesis (MOSS), which employs kinematic information to achieve motion-aware Gaussian split on the human surface. Our framework consists of two modules: Kinematic Gaussian Locating Splatting (KGAS) and Surface Deformation Detector (UID). KGAS incorporates matrix-Fisher distribution to propagate global motion across the body surface. The density and rotation factors of this distribution explicitly control the Gaussians, thereby enhancing the realism of the reconstructed surface. Additionally, to address local occlusions in single-view, based on KGAS, UID identifies significant surfaces, and geometric reconstruction is performed to compensate for these deformations. Experimental results demonstrate that MOSS achieves state-of-the-art visual quality in 3D clothed human synthesis from monocular videos. Notably, we improve the Human NeRF and the Gaussian Splatting by 33.94% and 16.75% in LPIPS* respectively. Codes are available at https://wanghongsheng01.github.io/MOSS/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google