要約
人間のポーズ キーポイント ベースの歩行者検出方法における部分オクルージョンから生じる課題を軽減するために、分離および次元削減ベースの敵対的生成代入ネットワーク (SDR-GAIN) と呼ばれる新しい歩行者ポーズ キーポイント補完方法を提案します。
まず、OpenPose を利用して画像内の歩行者の姿勢を推定します。
次に、オクルージョンなどの要因によりキーポイントが不完全な歩行者の頭部と胴体のキーポイントを分離し、次元削減を行うことで特徴を強化し、特徴分布をさらに統一します。
最後に、敵対的生成ネットワーク (GAN) フレームワークに基づく 2 つの生成モデルを導入します。このモデルには、フーバー損失、残差構造、および L1 正則化が組み込まれており、部分的に遮られた歩行者の不完全な頭と胴体のポーズ キーポイントの欠落部分が生成され、ポーズが完了します。
。
MS COCO および JAAD データセットでの実験では、ポーズ完了タスクに関して、SDR-GAIN が基本的な GAIN フレームワーク、補間手法 PCHIP および Makima、機械学習手法 k-NN および MissForest よりも優れていることが実証されました。
さらに、SDR-GAINアルゴリズムの実行時間は約0.4msと極めて短く、優れたリアルタイム性を誇ります。
したがって、システムの高い応答速度が最も重要である自動運転の分野では、実用的な価値が非常に高くなります。
具体的には、人間の姿勢キーポイントを迅速かつ正確に捕捉することに優れており、歩行者の行動認識や予測など、姿勢キーポイントに基づく歩行者検出タスクの応用範囲を拡大できます。
要約(オリジナル)
To mitigate the challenges arising from partial occlusion in human pose keypoint based pedestrian detection methods , we present a novel pedestrian pose keypoint completion method called the separation and dimensionality reduction-based generative adversarial imputation networks (SDR-GAIN) . Firstly, we utilize OpenPose to estimate pedestrian poses in images. Then, we isolate the head and torso keypoints of pedestrians with incomplete keypoints due to occlusion or other factors and perform dimensionality reduction to enhance features and further unify feature distribution. Finally, we introduce two generative models based on the generative adversarial networks (GAN) framework, which incorporate Huber loss, residual structure, and L1 regularization to generate missing parts of the incomplete head and torso pose keypoints of partially occluded pedestrians, resulting in pose completion. Our experiments on MS COCO and JAAD datasets demonstrate that SDR-GAIN outperforms basic GAIN framework, interpolation methods PCHIP and MAkima, machine learning methods k-NN and MissForest in terms of pose completion task. Furthermore, the SDR-GAIN algorithm exhibits a remarkably short running time of approximately 0.4ms and boasts exceptional real-time performance. As such, it holds significant practical value in the domain of autonomous driving, wherein high system response speeds are of paramount importance. Specifically, it excels at rapidly and precisely capturing human pose key points, thus enabling an expanded range of applications for pedestrian detection tasks based on pose key points, including but not limited to pedestrian behavior recognition and prediction.
arxiv情報
| 著者 | Honghao Fu,Libo Sun,Yilang Shen,Yiwen Wu |
| 発行日 | 2023-08-25 07:34:42+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google