A Locality-based Neural Solver for Optical Motion Capture

要約

光学式モーション キャプチャ データをクリーニングして解決するための新しい局所ベースの学習方法を紹介します。
ノイズの多いマーカー データを考慮して、マーカーとジョイントをさまざまな種類のノードとして扱い、グラフ畳み込み演算を使用してマーカーとジョイントの局所的な特徴を抽出し、それらをクリーンなモーションに変換する、新しい異種グラフ ニューラル ネットワークを提案します。
異常なマーカー (例: 遮蔽されている、または大きな追跡エラーがある) に対処するための重要な洞察は、マーカーの動きがすぐ隣のマーカーの動きと強い相関関係を示すが、他のマーカー (局所性とも呼ばれる) とはそれほど相関が低いということです。
マーカーの欠落（閉塞などによる）。
さらに、加速度プロファイルを調査することで、追跡エラーによるマーカーの外れ値も特定します。
最後に、マスキングを使用してデータ上でモデルをトレーニングすることにより、表現学習とデータ拡張に基づいたトレーニング体制を提案します。
マスキング スキームは、実際のデータでよく観察される遮蔽されたノイズの多いマーカーを模倣することを目的としています。
最後に、私たちの方法がさまざまなデータセットにわたる複数のメトリクスで高い精度を達成することを示します。
広範な比較により、私たちの方法は、遮蔽されたマーカーの位置誤差の予測精度の点で最先端の方法よりも約 20% 優れており、これにより、再構築された関節の回転と位置の誤差がさらに 30% 削減されることがわかります。
このペーパーのコードとデータは、https://github.com/non-void/LocalMoCap で入手できます。

要約(オリジナル)

We present a novel locality-based learning method for cleaning and solving optical motion capture data. Given noisy marker data, we propose a new heterogeneous graph neural network which treats markers and joints as different types of nodes, and uses graph convolution operations to extract the local features of markers and joints and transform them to clean motions. To deal with anomaly markers (e.g. occluded or with big tracking errors), the key insight is that a marker’s motion shows strong correlations with the motions of its immediate neighboring markers but less so with other markers, a.k.a. locality, which enables us to efficiently fill missing markers (e.g. due to occlusion). Additionally, we also identify marker outliers due to tracking errors by investigating their acceleration profiles. Finally, we propose a training regime based on representation learning and data augmentation, by training the model on data with masking. The masking schemes aim to mimic the occluded and noisy markers often observed in the real data. Finally, we show that our method achieves high accuracy on multiple metrics across various datasets. Extensive comparison shows our method outperforms state-of-the-art methods in terms of prediction accuracy of occluded marker position error by approximately 20%, which leads to a further error reduction on the reconstructed joint rotations and positions by 30%. The code and data for this paper are available at https://github.com/non-void/LocalMoCap.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google