BundleMoCap: Efficient, Robust and Smooth Motion Capture from Sparse Multiview Videos

要約

マーカーレス技術を使用してビデオからスムーズなモーションをキャプチャするには、通常、時間的制約、データ駆動型の回帰と最適化による複数の段階、時間ウィンドウでのバンドル解決などの複雑なプロセスが含まれます。
これらのプロセスは非効率的になる可能性があり、複数の段階にわたって複数の目標を調整する必要があります。
対照的に、BundleMoCap は、この問題に対する斬新で効率的なアプローチを導入しています。
モーション キャプチャ タスクを 1 つのステージで解決し、スムーズなモーションを実現しながら、一時的な滑らかさの目標の必要性を排除します。
BundleMoCap は、複雑さを増すことなく、最先端のパフォーマンスを上回ります。
BundleMoCap の背後にある重要なコンセプトは、潜在キーフレーム間の多様体補間です。
局所多様体の平滑性の仮定に依存することで、単一のコードを使用してフレームの束を効率的に解くことができます。
さらに、この方法はスライディング ウィンドウの最適化として実装でき、最初のフレームのみを適切に初期化する必要があるため、全体の計算負荷が軽減されます。
BundleMoCap の強みは、高品質のモーション キャプチャ結果を簡単かつ効率的に達成できることにあります。
詳細については、https://mverseai.github.io/bundle/ をご覧ください。

要約(オリジナル)

Capturing smooth motions from videos using markerless techniques typically involves complex processes such as temporal constraints, multiple stages with data-driven regression and optimization, and bundle solving over temporal windows. These processes can be inefficient and require tuning multiple objectives across stages. In contrast, BundleMoCap introduces a novel and efficient approach to this problem. It solves the motion capture task in a single stage, eliminating the need for temporal smoothness objectives while still delivering smooth motions. BundleMoCap outperforms the state-of-the-art without increasing complexity. The key concept behind BundleMoCap is manifold interpolation between latent keyframes. By relying on a local manifold smoothness assumption, we can efficiently solve a bundle of frames using a single code. Additionally, the method can be implemented as a sliding window optimization and requires only the first frame to be properly initialized, reducing the overall computational burden. BundleMoCap’s strength lies in its ability to achieve high-quality motion capture results with simplicity and efficiency. More details can be found at https://moverseai.github.io/bundle/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google