Human Pose Estimation from Sparse Inertial Measurements through Recurrent Graph Convolution

要約

人間の姿勢を推定するための従来の方法は、多くの慣性測定装置（IMU）に依存することによって高度な計測を必要とするか、外部カメラに依存することによって記録スペースを制限します。
これらの赤字は、まばらなIMUデータからの人間の姿勢推定のアプローチを通じて対処されます。
人体グラフ構造をネットワークに直接組み込みながら、6つのIMUに基づく人間の姿勢推定に取り組むために、隣接適応グラフ畳み込み長短期記憶ネットワーク（AAGC-LSTM）を定義します。
AAGC-LSTMは、単一のネットワーク操作で空間的依存性と時間的依存性の両方を組み合わせ、以前のアプローチよりも効率的にメモリを増やします。
これは、グラフの畳み込みに隣接適応性を装備することで可能になります。これにより、深いグラフネットワークまたは反復グラフネットワークでの情報損失の問題が解消され、人体の関節間の未知の依存関係を学習することもできます。
精度をさらに高めるために、自然な動きのパターンを考慮した縦方向の損失重み付けを提案します。
提示されたアプローチでは、人体に固有のグラフの性質を利用できるため、スパースIMUデータからの人間の姿勢推定に最先端（SOTA）を上回ることができます。

要約(オリジナル)

Conventional methods for human pose estimation either require a high degree of instrumentation, by relying on many inertial measurement units (IMUs), or constraint the recording space, by relying on extrinsic cameras. These deficits are tackled through the approach of human pose estimation from sparse IMU data. We define adjacency adaptive graph convolutional long-short term memory networks (AAGC-LSTM), to tackle human pose estimation based on six IMUs, while incorporating the human body graph structure directly into the network. The AAGC-LSTM combines both spatial and temporal dependency in a single network operation, more memory efficiently than previous approaches. This is made possible by equipping graph convolutions with adjacency adaptivity, which eliminates the problem of information loss in deep or recurrent graph networks, while it also allows for learning unknown dependencies between the human body joints. To further boost accuracy, we propose longitudinal loss weighting to consider natural movement patterns. With our presented approach, we are able to utilize the inherent graph nature of the human body, and thus can outperform the state of the art (SOTA) for human pose estimation from sparse IMU data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google