A Locality-based Neural Solver for Optical Motion Capture

要約

我々は、光学モーションキャプチャデータをクリーニングし、解決するための新しい局所性に基づく学習法を提案する。ノイズの多いマーカーデータが与えられた場合、マーカーと関節を異なるタイプのノードとして扱い、グラフ畳み込み演算を用いてマーカーと関節の局所的特徴を抽出し、クリーンなモーションに変換する、新しい異種グラフニューラルネットワークを提案する。異常なマーカー（例えば、オクルージョンや大きなトラッキングエラー）に対処するために、重要な洞察は、マーカーのモーションは、そのすぐ隣のマーカーのモーションと強い相関を示すが、他のマーカーとの相関は低いということである。さらに、加速度プロファイルを調査することで、トラッキングエラーによるマーカーの異常値も特定します。最後に、マスキングを施したデータでモデルを学習することにより、表現学習とデータ増強に基づいた学習レジームを提案する。マスキングのスキームは、実際のデータでしばしば観察される、隠蔽されノイズの多いマーカーを模倣することを目的としている。最後に、我々の手法が様々なデータセットにおいて、複数のメトリクスで高い精度を達成することを示す。広範な比較の結果、本手法は、オクルードマーカーの位置誤差の予測精度において、最先端の手法を約20%上回り、再構成された関節の回転と位置の誤差をさらに30%削減する。この論文のコードとデータはhttps://github.com/non-void/LocalMoCap。

要約(オリジナル)

We present a novel locality-based learning method for cleaning and solving optical motion capture data. Given noisy marker data, we propose a new heterogeneous graph neural network which treats markers and joints as different types of nodes, and uses graph convolution operations to extract the local features of markers and joints and transform them to clean motions. To deal with anomaly markers (e.g. occluded or with big tracking errors), the key insight is that a marker’s motion shows strong correlations with the motions of its immediate neighboring markers but less so with other markers, a.k.a. locality, which enables us to efficiently fill missing markers (e.g. due to occlusion). Additionally, we also identify marker outliers due to tracking errors by investigating their acceleration profiles. Finally, we propose a training regime based on representation learning and data augmentation, by training the model on data with masking. The masking schemes aim to mimic the occluded and noisy markers often observed in the real data. Finally, we show that our method achieves high accuracy on multiple metrics across various datasets. Extensive comparison shows our method outperforms state-of-the-art methods in terms of prediction accuracy of occluded marker position error by approximately 20%, which leads to a further error reduction on the reconstructed joint rotations and positions by 30%. The code and data for this paper are available at https://github.com/non-void/LocalMoCap.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL