A3GC-IP: Attention-Oriented Adjacency Adaptive Recurrent Graph Convolutions for Human Pose Estimation from Sparse Inertial Measurements

要約

人間の姿勢を推定するための従来の方法は、多くの慣性測定ユニット (IMU) に依存することによって高度な計測器を必要とするか、外部カメラに依存することによって記録スペースを制約します。
これらの赤字は、まばらな IMU データからの人間の姿勢推定のアプローチを通じて取り組まれています。
人体グラフ構造をネットワークに直接組み込むことにより、6つのIMUに基づく人間の姿勢推定に取り組むために、注意指向の隣接適応グラフ畳み込み長短期記憶ネットワーク（A3GC-LSTM）を定義します。
A3GC-LSTM は、単一のネットワーク操作で空間依存と時間依存の両方を組み合わせ、以前のアプローチよりもメモリ効率を高めます。
任意の長さのシーケンスでの再帰グラフ学習は、グラフ畳み込みに隣接適応性を装備することで可能になります。これにより、深いグラフネットワークまたは再帰グラフネットワークでの情報損失の問題が解消され、人体の関節間の未知の依存関係を学習することもできます。
精度をさらに向上させるために、空間的注意形式が反復 LSTM セルに組み込まれています。
提示されたアプローチを使用すると、人体の固有のグラフの性質を利用できるため、スパース IMU データからの人間の姿勢推定の最先端技術を上回ることができます。

要約(オリジナル)

Conventional methods for human pose estimation either require a high degree of instrumentation, by relying on many inertial measurement units (IMUs), or constraint the recording space, by relying on extrinsic cameras. These deficits are tackled through the approach of human pose estimation from sparse IMU data. We define attention-oriented adjacency adaptive graph convolutional long-short term memory networks (A3GC-LSTM), to tackle human pose estimation based on six IMUs, through incorporating the human body graph structure directly into the network. The A3GC-LSTM combines both spatial and temporal dependency in a single network operation, more memory efficiently than previous approaches. The recurrent graph learning on arbitrarily long sequences is made possible by equipping graph convolutions with adjacency adaptivity, which eliminates the problem of information loss in deep or recurrent graph networks, while it also allows for learning unknown dependencies between the human body joints. To further boost accuracy, a spatial attention formalism is incorporated into the recurrent LSTM cell. With our presented approach, we are able to utilize the inherent graph nature of the human body, and thus can outperform the state of the art for human pose estimation from sparse IMU data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google