Joint Multi-Person Body Detection and Orientation Estimation via One Unified Embedding

要約

人体方向推定 (HBOE) は、ロボット工学、監視、歩行者分析、自動運転など、さまざまなアプリケーションに広く適用されています。
多くのアプローチが、制御が行き届いていない特定のシーンから困難な野生環境まで、HBOE 問題に対処してきましたが、それらは人間のインスタンスが既に検出されていることを前提としており、適切にトリミングされたサブイメージを入力として受け取ります。
この設定は効率が悪く、大勢の人など、実際のアプリケーションでエラーが発生しやすくなります。
この論文では、複数の人物でHBOE問題に取り組むための、単一段階のエンドツーエンドのトレーニング可能なフレームワークを提案しています。
バウンディング ボックスと方向角の予測を 1 つの埋め込みに統合することにより、この方法では、1 つの画像内のすべての物体の位置と方向を共同で直接推定できます。
私たちの重要なアイデアは、HBOE タスクを人のマルチスケール アンカー チャネル予測に統合して、関与する中間機能から同時に利益を得ることです。
したがって、私たちのアプローチは、オブジェクト検出のように、低解像度とオクルージョンを含む困難なインスタンスに自然に適応できます。
最近発表されたベンチマークMEBOWで、広範な実験により、この方法の効率と有効性を検証しました。
さらに、MEBOW データセットによって無視されたあいまいなインスタンスを完成させ、対応する弱い身体方向ラベルを提供して、複数の人に向けた研究をサポートするための完全性と一貫性を維持しました。
私たちの作品は、\url{https://github.com/hnuzhy/JointBDOE} で入手できます。

要約(オリジナル)

Human body orientation estimation (HBOE) is widely applied into various applications, including robotics, surveillance, pedestrian analysis and autonomous driving. Although many approaches have been addressing the HBOE problem from specific under-controlled scenes to challenging in-the-wild environments, they assume human instances are already detected and take a well cropped sub-image as the input. This setting is less efficient and prone to errors in real application, such as crowds of people. In the paper, we propose a single-stage end-to-end trainable framework for tackling the HBOE problem with multi-persons. By integrating the prediction of bounding boxes and direction angles in one embedding, our method can jointly estimate the location and orientation of all bodies in one image directly. Our key idea is to integrate the HBOE task into the multi-scale anchor channel predictions of persons for concurrently benefiting from engaged intermediate features. Therefore, our approach can naturally adapt to difficult instances involving low resolution and occlusion as in object detection. We validated the efficiency and effectiveness of our method in the recently presented benchmark MEBOW with extensive experiments. Besides, we completed ambiguous instances ignored by the MEBOW dataset, and provided corresponding weak body-orientation labels to keep the integrity and consistency of it for supporting studies toward multi-persons. Our work is available at \url{https://github.com/hnuzhy/JointBDOE}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google