Interweaved Graph and Attention Network for 3D Human Pose Estimation

要約

タイトル：3D人体姿勢推定のためのインターリーブされたグラフとアテンションネットワーク

要約：
– 単一ビュー画像からの3D人体姿勢推定の進展がある一方、これまでの先行研究は、グローバルおよびローカルな相関関係をほとんど探索していないため、人間の骨格表現の学習が不十分であることがある。
– この問題を解決するために、我々は新しいインターリーブされたグラフとアテンションネットワーク（IGANet）を提案する。これにより、グラフ畳み込みネットワーク（GCN）とアテンションの間で双方向通信が可能になる。具体的には、IGAモジュールを導入し、アテンションにはGCNからのローカル情報が提供され、GCNにはアテンションからのグローバル情報が注入される。さらに、多層パーセプトロン（uMLP）のシンプルで効果的なU字型も設計されており、体の関節の多粒度情報を捉えることができる。
– 人間3.6MおよびMPI-INF-3DHPの2つの人気のあるベンチマークデータセットでの大量の実験を行い、提案手法を評価する。結果は、IGANetが両方のデータセットで最新の性能を発揮することを示している。コードはhttps://github.com/xiu-cs/IGANetで利用可能。

要約(オリジナル)

Despite substantial progress in 3D human pose estimation from a single-view image, prior works rarely explore global and local correlations, leading to insufficient learning of human skeleton representations. To address this issue, we propose a novel Interweaved Graph and Attention Network (IGANet) that allows bidirectional communications between graph convolutional networks (GCNs) and attentions. Specifically, we introduce an IGA module, where attentions are provided with local information from GCNs and GCNs are injected with global information from attentions. Additionally, we design a simple yet effective U-shaped multi-layer perceptron (uMLP), which can capture multi-granularity information for body joints. Extensive experiments on two popular benchmark datasets (i.e. Human3.6M and MPI-INF-3DHP) are conducted to evaluate our proposed method.The results show that IGANet achieves state-of-the-art performance on both datasets. Code is available at https://github.com/xiu-cs/IGANet.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI