Joint Coordinate Regression and Association For Multi-Person Pose Estimation, A Pure Neural Network Approach

要約

関節座標回帰および関連付け (JCRA) として知られる、後処理を必要とせずに人間のポーズの関節と関連付けを生成する、新しい 1 段階のエンドツーエンドの複数人 2D 姿勢推定アルゴリズムを導入します。
提案されたアルゴリズムは高速、正確、効果的、かつシンプルです。
1 段階のエンドツーエンド ネットワーク アーキテクチャにより、JCRA の推論速度が大幅に向上します。
一方、エンコーダとデコーダの両方に対して対称ネットワーク構造を考案し、キーポイントの識別における高い精度を保証しました。
トランスネットワークを介して部品の位置を直接出力するアーキテクチャに従っており、パフォーマンスが大幅に向上します。
MS COCO および CrowdPose ベンチマークに関する広範な実験により、JCRA が精度と効率の両方で最先端のアプローチを上回ることが実証されました。
さらに、JCRA は 69.2 mAP を実証し、これまでの最先端のボトムアップ アルゴリズムよりも推論加速が 78% 高速です。
このアルゴリズムのコードは公開される予定です。

要約(オリジナル)

We introduce a novel one-stage end-to-end multi-person 2D pose estimation algorithm, known as Joint Coordinate Regression and Association (JCRA), that produces human pose joints and associations without requiring any post-processing. The proposed algorithm is fast, accurate, effective, and simple. The one-stage end-to-end network architecture significantly improves the inference speed of JCRA. Meanwhile, we devised a symmetric network structure for both the encoder and decoder, which ensures high accuracy in identifying keypoints. It follows an architecture that directly outputs part positions via a transformer network, resulting in a significant improvement in performance. Extensive experiments on the MS COCO and CrowdPose benchmarks demonstrate that JCRA outperforms state-of-the-art approaches in both accuracy and efficiency. Moreover, JCRA demonstrates 69.2 mAP and is 78\% faster at inference acceleration than previous state-of-the-art bottom-up algorithms. The code for this algorithm will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google