BPJDet: Extended Object Representation for Generic Body-Part Joint Detection

要約

タイトル：BPJDet: 汎用ボディパーツジョイント検出のための拡張オブジェクト表現

要約：

– 人間の身体とそのパーツ（例：頭部や手）の検出は、徹底的に研究されてきた。
– しかし、これらのCNNベースの検出器の多くは、独立して訓練されているため、検出されたパーツを身体に関連づけることが困難になっている。
– この論文では、人間の身体とそれに対応するパーツのジョイント検出に焦点を当てる。
– 具体的には、ボディパーツの中心-offsetを統合した新しい拡張オブジェクト表現を提案し、密な1段階の汎用ボディパーツジョイント検出器（BPJDet）を構築する。
– このようにして、ボディパーツの関連性は、意味的および幾何学的な内容の両方を含む一元的なオブジェクト表現にきちんと埋め込まれる。
– したがって、複数のタスクを協調的に解決するためにマルチロス最適化を実行できる。
– BPJDetは、誤ったマッチングに苦しまず、速度と精度のバランスをよく保つ。
– さらに、BPJDetは任意の1つまたは複数の身体部位を検出するために一般化できる。
– BPJDetの優越性を検証するために、3つの身体部位データセット（CityPersons、CrowdHuman、BodyHands）と1つの身体部位データセットCOCOHumanPartsで実験を行いました。
– BPJDetは、対応する検出器と比較してすべてのデータセットで最先端の関連付け性能を実現しながら、高い検出精度を維持しています。
– さらに、上流アプリケーションの2つの代表的な改善実験を通じて、改良されたボディパーツ関連性の利点を示しています：正確なクラウドヘッド検出とハンドコンタクト推定。
– コードはhttps://github.com/hnuzhy/BPJDetで公開されています。

要約(オリジナル)

Detection of human body and its parts (e.g., head or hands) has been intensively studied. However, most of these CNNs-based detectors are trained independently, making it difficult to associate detected parts with body. In this paper, we focus on the joint detection of human body and its corresponding parts. Specifically, we propose a novel extended object representation integrating center-offsets of body parts, and construct a dense one-stage generic Body-Part Joint Detector (BPJDet). In this way, body-part associations are neatly embedded in a unified object representation containing both semantic and geometric contents. Therefore, we can perform multi-loss optimizations to tackle multi-tasks synergistically. BPJDet does not suffer from error-prone post matching, and keeps a better trade-off between speed and accuracy. Furthermore, BPJDet can be generalized to detect any one or more body parts. To verify the superiority of BPJDet, we conduct experiments on three body-part datasets (CityPersons, CrowdHuman and BodyHands) and one body-parts dataset COCOHumanParts. While keeping high detection accuracy, BPJDet achieves state-of-the-art association performance on all datasets comparing with its counterparts. Besides, we show benefits of advanced body-part association capability by improving performance of two representative downstream applications: accurate crowd head detection and hand contact estimation. Code is released in https://github.com/hnuzhy/BPJDet.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI