MoDA: Modeling Deformable 3D Objects from Casual Videos

要約

タイトル：カジュアルなビデオから変形可能な3DオブジェクトをモデリングするMoDA

要約：
– この論文では、カジュアルなビデオから変形可能な3Dオブジェクトをモデリングする課題に焦点を当てている。
– ニューラル放射測度場（NeRF）の普及に伴い、多くの研究がカノニカルなNeRFと変形モデルを用いて動的シーンを拡張している。
– 最近の研究では、線形ブレンドスキニング（LBS）を用いてカノニカル – 観測変換を実現している。
– しかし、剛体変換行列の線形重み付き組み合わせは剛体であることが保証されていないため、予期しないスケールやシアーファクターが発生することがよくある。
– LBSを変形モデルとして使用すると、曲げやねじれ運動の場合、スキンの潰れたアーティファクトが生じることがよくある。
– この問題を解決するため、ニューラルデュアルクォータニオンブレンドスキニング（NeuDBS）を提案し、スキンの崩壊アーティファクトが生じずに3Dポイント変形を実現する。
– さらに、テクスチャフィルタリングアプローチを紹介し、対象の変形可能なオブジェクト外のノイズの影響を効果的に最小化する。
– 実験は、本手法が最先端の方法よりも質的・量的に優れた性能で人間や動物の3Dモデルを再構築できることを示している。

要約(オリジナル)

In this paper, we focus on the challenges of modeling deformable 3D objects from casual videos. With the popularity of neural radiance fields (NeRF), many works extend it to dynamic scenes with a canonical NeRF and a deformation model that achieves 3D point transformation between the observation space and the canonical space. Recent works rely on linear blend skinning (LBS) to achieve the canonical-observation transformation. However, the linearly weighted combination of rigid transformation matrices is not guaranteed to be rigid. As a matter of fact, unexpected scale and shear factors often appear. In practice, using LBS as the deformation model can always lead to skin-collapsing artifacts for bending or twisting motions. To solve this problem, we propose neural dual quaternion blend skinning (NeuDBS) to achieve 3D point deformation, which can perform rigid transformation without skin-collapsing artifacts. Besides, we introduce a texture filtering approach for texture rendering that effectively minimizes the impact of noisy colors outside target deformable objects. Extensive experiments on real and synthetic datasets show that our approach can reconstruct 3D models for humans and animals with better qualitative and quantitative performance than state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI