I^2R-Net: Intra- and Inter-Human Relation Network for Multi-Person Pose Estimation

要約

この論文では、複数人のポーズ推定のための人間内および人間間関係ネットワーク（I ^ 2R-Net）を紹介します。
これには2つの基本モジュールが含まれます。
まず、人間内関係モジュールは1人の人間で動作し、人間内の依存関係をキャプチャすることを目的としています。
次に、人間間関係モジュールは、複数のインスタンス間の関係を考慮し、人間間の相互作用のキャプチャに焦点を当てます。
人間間関係モジュールは、特徴マップの解像度を下げることで非常に軽量に設計できますが、人間内関係モジュールのパフォーマンスを大幅に向上させるために役立つ関係情報を学習します。
ベルやホイッスルがなくても、私たちの方法は現在の競争の勝者と競争したり、それを上回ったりすることができます。
COCO、CrowdPose、およびOCHumanデータセットで広範な実験を実施します。
結果は、提案されたモデルがすべての最先端の方法を上回っていることを示しています。
具体的には、提案手法はCrowPoseデータセットで77.4％AP、OCHumanデータセットで67.8％APを達成し、既存の手法を大幅に上回っています。
さらに、アブレーション研究と視覚化分析も、モデルの有効性を証明しています。

要約(オリジナル)

In this paper, we present the Intra- and Inter-Human Relation Networks (I^2R-Net) for Multi-Person Pose Estimation. It involves two basic modules. First, the Intra-Human Relation Module operates on a single person and aims to capture Intra-Human dependencies. Second, the Inter-Human Relation Module considers the relation between multiple instances and focuses on capturing Inter-Human interactions. The Inter-Human Relation Module can be designed very lightweight by reducing the resolution of feature map, yet learn useful relation information to significantly boost the performance of the Intra-Human Relation Module. Even without bells and whistles, our method can compete or outperform current competition winners. We conduct extensive experiments on COCO, CrowdPose, and OCHuman datasets. The results demonstrate that the proposed model surpasses all the state-of-the-art methods. Concretely, the proposed method achieves 77.4% AP on CrowPose dataset and 67.8% AP on OCHuman dataset respectively, outperforming existing methods by a large margin. Additionally, the ablation study and visualization analysis also prove the effectiveness of our model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google