Spatio-temporal MLP-graph network for 3D human pose estimation

要約

グラフ畳み込みネットワークとそのバリアントは、3D 人間の姿勢推定において大きな可能性を示しています。
成功しているにもかかわらず、これらの方法のほとんどは、体の関節間の空間的な相関関係のみを考慮し、時間的な相関関係を考慮していないため、オクルージョンや固有のあいまいさの存在下で関係を把握する能力が制限されています。
この潜在的な弱点に対処するために、異なるジョイント間の通信を容易にするジョイントミキシング多層パーセプトロンブロックと、さまざまな機能チャネル間の通信を可能にするグラフ重み付きヤコビネットワークブロックで構成される時空間ネットワークアーキテクチャを提案します。
私たちのアプローチの主な目新しさは、暗黙的フェアリングを使用したグラフ フィルタリングを通じて得られる新しい重み付きヤコビ特徴伝播ルールにあります。
2D ポーズ シーケンスからの時間情報を活用し、重み変調をモデルに統合して、個別のノードの特徴変換のもつれを解くことができます。
また、学習可能な変調行列を通じてグラフ トポロジを変更することで、身体の関節間の定義された結合を超えた意味のある相関関係を学習することを目的として、隣接変調も採用しています。
2 つのベンチマーク データセットに対する広範な実験により、私たちのモデルの有効性が実証され、3D 人間の姿勢推定の最近の最先端の方法を上回っています。

要約(オリジナル)

Graph convolutional networks and their variants have shown significant promise in 3D human pose estimation. Despite their success, most of these methods only consider spatial correlations between body joints and do not take into account temporal correlations, thereby limiting their ability to capture relationships in the presence of occlusions and inherent ambiguity. To address this potential weakness, we propose a spatio-temporal network architecture composed of a joint-mixing multi-layer perceptron block that facilitates communication among different joints and a graph weighted Jacobi network block that enables communication among various feature channels. The major novelty of our approach lies in a new weighted Jacobi feature propagation rule obtained through graph filtering with implicit fairing. We leverage temporal information from the 2D pose sequences, and integrate weight modulation into the model to enable untangling of the feature transformations of distinct nodes. We also employ adjacency modulation with the aim of learning meaningful correlations beyond defined linkages between body joints by altering the graph topology through a learnable modulation matrix. Extensive experiments on two benchmark datasets demonstrate the effectiveness of our model, outperforming recent state-of-the-art methods for 3D human pose estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google