RemoCap: Disentangled Representation Learning for Motion Capture

要約

現実的なモーション シーケンスから 3D 人体を再構築することは、広範で複雑なオクルージョンのため依然として課題です。
現在の方法では、閉塞された身体部分のダイナミクスを捉えることが困難であり、モデルの貫通や動きの歪みにつながります。
RemoCap は、空間的もつれ解除 (SD) と動き的もつれ解除 (MD) を活用して、これらの制限を克服します。
SD は、対象となる人体と周囲の物体との間のオクルージョン干渉に対処します。
これは、ディメンション軸に沿ってターゲット フィーチャを解きほぐすことで実現されます。
SD は、各次元の空間位置に基づいてフィーチャを位置合わせすることにより、ターゲット オブジェクトの応答をグローバル ウィンドウ内で分離し、オクルージョンがあっても正確にキャプチャできるようにします。
MD モジュールは、チャネルごとの時間シャッフリング戦略を採用して、さまざまなシーンのダイナミクスをシミュレートします。
このプロセスにより、動きの特徴が効果的に解きほぐされ、RemoCap がより忠実に遮蔽された部分を再構築できるようになります。
さらに、この論文では、時間的コヒーレンスを促進するシーケンス速度損失を紹介します。
この損失によりフレーム間の速度誤差が抑制され、予測された動きが現実的な一貫性を示すことが保証されます。
ベンチマーク データセットに関する最先端 (SOTA) 手法との広範な比較により、3D 人体再構成における RemoCap の優れたパフォーマンスが実証されています。
3DPW データセットでは、RemoCap はすべての競合他社を上回り、MPVPE (81.9)、MPJPE (72.7)、および PA-MPJPE (44.1) メトリクスで最高の結果を達成しました。
コードは https://wanghongsheng01.github.io/RemoCap/ で入手できます。

要約(オリジナル)

Reconstructing 3D human bodies from realistic motion sequences remains a challenge due to pervasive and complex occlusions. Current methods struggle to capture the dynamics of occluded body parts, leading to model penetration and distorted motion. RemoCap leverages Spatial Disentanglement (SD) and Motion Disentanglement (MD) to overcome these limitations. SD addresses occlusion interference between the target human body and surrounding objects. It achieves this by disentangling target features along the dimension axis. By aligning features based on their spatial positions in each dimension, SD isolates the target object’s response within a global window, enabling accurate capture despite occlusions. The MD module employs a channel-wise temporal shuffling strategy to simulate diverse scene dynamics. This process effectively disentangles motion features, allowing RemoCap to reconstruct occluded parts with greater fidelity. Furthermore, this paper introduces a sequence velocity loss that promotes temporal coherence. This loss constrains inter-frame velocity errors, ensuring the predicted motion exhibits realistic consistency. Extensive comparisons with state-of-the-art (SOTA) methods on benchmark datasets demonstrate RemoCap’s superior performance in 3D human body reconstruction. On the 3DPW dataset, RemoCap surpasses all competitors, achieving the best results in MPVPE (81.9), MPJPE (72.7), and PA-MPJPE (44.1) metrics. Codes are available at https://wanghongsheng01.github.io/RemoCap/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google