Deep Multi-Task Networks For Occluded Pedestrian Pose Estimation

要約

歩行者の姿勢推定に関する既存の研究のほとんどは、閉塞した部分の注釈が関連する自動車データセットで利用できないため、閉塞した歩行者の姿勢を推定することを考慮していません。
たとえば、自動車のシーンで歩行者を検出するためのよく知られたデータセットであるCityPersonsはポーズの注釈を提供しませんが、自動車以外のデータセットであるMS-COCOには人間のポーズ推定が含まれています。
この作業では、これら2つの分布で別々に実行される検出およびインスタンスセグメンテーションタスクを通じて歩行者の特徴を抽出するマルチタスクフレームワークを提案します。
その後、エンコーダーは、両方の分布からの歩行者インスタンスの教師なしインスタンスレベルのドメイン適応方法を使用して、ポーズ固有の機能を学習します。
提案されたフレームワークは、ポーズ推定、歩行者検出、およびインスタンスセグメンテーションの最先端のパフォーマンスを改善しました。

要約(オリジナル)

Most of the existing works on pedestrian pose estimation do not consider estimating the pose of an occluded pedestrians, as the annotations of the occluded parts are not available in relevant automotive datasets. For example, CityPersons, a well-known dataset for pedestrian detection in automotive scenes does not provide pose annotations, whereas MS-COCO, a non-automotive dataset, contains human pose estimation. In this work, we propose a multi-task framework to extract pedestrian features through detection and instance segmentation tasks performed separately on these two distributions. Thereafter, an encoder learns pose specific features using an unsupervised instance-level domain adaptation method for the pedestrian instances from both distributions. The proposed framework has improved state-of-the-art performances of pose estimation, pedestrian detection, and instance segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google