Non-rigid Structure-from-Motion: Temporally-smooth Procrustean Alignment and Spatially-variant Deformation Modeling

要約

Non-rigid Structure-from-Motion (NRSfM) は広範囲に研究され、大きな進歩が見られましたが、広範な現実世界への応用を妨げる重要な課題がまだあります。 1) 固有の運動/回転のあいまいさにより、どちらかの明示的なカメラが必要です。
追加の拘束または複雑な Procrustean アライメントによるモーション回復。
2) グローバル形状の既存の低ランク モデリングは、3D 形状シーケンスの急激な変形に過度のペナルティを与える可能性があります。
この論文は、時空間モデリングの観点から上記の問題を解決することを提案します。
まず、3D 変形形状を推定し、3D 形状シーケンスを連続的に位置合わせすることでカメラの動きを調整する、新しい時間的に滑らかな Procrustean アライメント モジュールを提案します。
当社の新しいアライメント モジュールは、アライメント中の複雑な基準 3D 形状の要件を軽減し、非等方性変形モデリングに適しています。
第 2 に、急激な空間的に変化する変形の再構築に適切に対応するために、さまざまな位置で低ランク制約を適応的に適用する空間加重アプローチを提案します。
私たちのモデリングは、既存の低ランクベースの手法よりも優れており、さまざまなデータセットにわたる広範な実験により、私たちの手法の有効性が検証されています。

要約(オリジナル)

Even though Non-rigid Structure-from-Motion (NRSfM) has been extensively studied and great progress has been made, there are still key challenges that hinder their broad real-world applications: 1) the inherent motion/rotation ambiguity requires either explicit camera motion recovery with extra constraint or complex Procrustean Alignment; 2) existing low-rank modeling of the global shape can over-penalize drastic deformations in the 3D shape sequence. This paper proposes to resolve the above issues from a spatial-temporal modeling perspective. First, we propose a novel Temporally-smooth Procrustean Alignment module that estimates 3D deforming shapes and adjusts the camera motion by aligning the 3D shape sequence consecutively. Our new alignment module remedies the requirement of complex reference 3D shape during alignment, which is more conductive to non-isotropic deformation modeling. Second, we propose a spatial-weighted approach to enforce the low-rank constraint adaptively at different locations to accommodate drastic spatially-variant deformation reconstruction better. Our modeling outperform existing low-rank based methods, and extensive experiments across different datasets validate the effectiveness of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google