Noise-in, Bias-out: Balanced and Real-time MoCap Solving

要約

リアルタイム光学式モーション キャプチャ (MoCap) システムは、最新のデータ駆動型モデリングの進歩の恩恵を受けていません。
この研究では、機械学習を適用してノイズの多い非構造化マーカー推定をリアルタイムで解決し、まばらな手頃な価格のセンサーを使用している場合でも、堅牢なマーカーベースの MoCap を提供します。
これを達成するために、私たちはモデルのトレーニングに関連する多くの課題、つまりトレーニング データの調達とそのロングテール分布に焦点を当てています。
表現学習を活用して、追加のデータやラベルを必要とせず、まれで困難なポーズでのモデルのパフォーマンスを向上させる不均衡回帰の手法を設計します。
統一された表現に依存することで、このようなモデルのトレーニングがハイエンドの MoCap トレーニング データの取得に束縛されないことを示し、マーカーレス MoCap の進歩を活用して必要なデータを取得します。
最後に、測定と推論の不確実性を考慮してボディ モデル ベースの逆運動学ソリューションを適応させ、パフォーマンスと堅牢性をさらに向上させることで、よりリッチで手頃な MoCap への一歩を踏み出しました。
プロジェクトページ：https://mverseai.github.io/noise-tail

要約(オリジナル)

Real-time optical Motion Capture (MoCap) systems have not benefited from the advances in modern data-driven modeling. In this work we apply machine learning to solve noisy unstructured marker estimates in real-time and deliver robust marker-based MoCap even when using sparse affordable sensors. To achieve this we focus on a number of challenges related to model training, namely the sourcing of training data and their long-tailed distribution. Leveraging representation learning we design a technique for imbalanced regression that requires no additional data or labels and improves the performance of our model in rare and challenging poses. By relying on a unified representation, we show that training such a model is not bound to high-end MoCap training data acquisition, and exploit the advances in marker-less MoCap to acquire the necessary data. Finally, we take a step towards richer and affordable MoCap by adapting a body model-based inverse kinematics solution to account for measurement and inference uncertainty, further improving performance and robustness. Project page: https://moverseai.github.io/noise-tail

arxiv情報

提供元, 利用サービス

arxiv.jp, Google