Body-Part Joint Detection and Association via Extended Object Representation

要約

人体とその関連部分 (顔、頭、手など) の検出は集中的に研究されており、ディープ CNN のブレークスルー以降、大幅に改善されています。
ただし、これらの検出器のほとんどは個別にトレーニングされているため、検出された体の部分を人と関連付けるのは困難な作業です。
この論文では、人体とそれに対応する部分の関節検出の問題に焦点を当てています。
具体的には、身体またはその部分の中心位置オフセットを統合する新しい拡張オブジェクト表現を提案し、高密度の単一段階のアンカーベースの身体部分関節検出器 (BPJDet) を構築します。
BPJDet の身体部分の関連付けは、意味情報と幾何学的情報の両方を含む統一表現に埋め込まれています。
したがって、BPJDet は、照合後にエラーが発生しやすい関連付けに悩まされることはなく、精度と速度のトレードオフが改善されます。
さらに、BPJDet をシームレスに一般化して、任意の身体部分を共同で検出することができます。
この方法の有効性と優位性を検証するために、CityPersons、CrowdHuman、BodyHands のデータセットで広範な実験を行います。
提案された BPJDet 検出器は、検出の高い精度を維持しながら、これら 3 つのベンチマークで最先端の関連付けパフォーマンスを達成します。
コードは https://github.com/hnuzhy/BPJDet にあります。

要約(オリジナル)

The detection of human body and its related parts (e.g., face, head or hands) have been intensively studied and greatly improved since the breakthrough of deep CNNs. However, most of these detectors are trained independently, making it a challenging task to associate detected body parts with people. This paper focuses on the problem of joint detection of human body and its corresponding parts. Specifically, we propose a novel extended object representation that integrates the center location offsets of body or its parts, and construct a dense single-stage anchor-based Body-Part Joint Detector (BPJDet). Body-part associations in BPJDet are embedded into the unified representation which contains both the semantic and geometric information. Therefore, BPJDet does not suffer from error-prone association post-matching, and has a better accuracy-speed trade-off. Furthermore, BPJDet can be seamlessly generalized to jointly detect any body part. To verify the effectiveness and superiority of our method, we conduct extensive experiments on the CityPersons, CrowdHuman and BodyHands datasets. The proposed BPJDet detector achieves state-of-the-art association performance on these three benchmarks while maintains high accuracy of detection. Code is in https://github.com/hnuzhy/BPJDet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google