要約
人間のポーズ キーポイント ベースの歩行者検出方法における部分オクルージョンから生じる課題を軽減するために、分離および次元削減ベースの敵対的生成代入ネットワーク (SDR-GAIN) と呼ばれる新しい歩行者ポーズ キーポイント補完方法を提案します。
まず、OpenPose を利用して画像内の歩行者の姿勢を推定します。
次に、オクルージョンなどの要因によりキーポイントが不完全な歩行者の頭部と胴体のキーポイントを分離し、次元削減を行うことで特徴を強化し、特徴分布をさらに統一します。
最後に、敵対的生成ネットワーク (GAN) フレームワークに基づく 2 つの生成モデルを導入します。このモデルには、フーバー損失、残差構造、および L1 正則化が組み込まれており、部分的に遮られた歩行者の不完全な頭と胴体のポーズ キーポイントの欠落部分が生成され、ポーズが完了します。
。
MS COCO および JAAD データセットでの実験では、ポーズ完了タスクに関して、SDR-GAIN が基本的な GAIN フレームワーク、補間手法 PCHIP および Makima、機械学習手法 k-NN および MissForest よりも優れていることが実証されました。
さらに、SDR-GAINの実行時間は約0.4msであり、高いリアルタイム性を示し、自動運転分野での大きな応用価値を示します。
要約(オリジナル)
To mitigate the challenges arising from partial occlusion in human pose keypoint based pedestrian detection methods , we present a novel pedestrian pose keypoint completion method called the separation and dimensionality reduction-based generative adversarial imputation networks (SDR-GAIN) . Firstly, we utilize OpenPose to estimate pedestrian poses in images. Then, we isolate the head and torso keypoints of pedestrians with incomplete keypoints due to occlusion or other factors and perform dimensionality reduction to enhance features and further unify feature distribution. Finally, we introduce two generative models based on the generative adversarial networks (GAN) framework, which incorporate Huber loss, residual structure, and L1 regularization to generate missing parts of the incomplete head and torso pose keypoints of partially occluded pedestrians, resulting in pose completion. Our experiments on MS COCO and JAAD datasets demonstrate that SDR-GAIN outperforms basic GAIN framework, interpolation methods PCHIP and MAkima, machine learning methods k-NN and MissForest in terms of pose completion task. In addition, the runtime of SDR-GAIN is approximately 0.4ms, displaying high real-time performance and significant application value in the field of autonomous driving.
arxiv情報
| 著者 | Honghao Fu |
| 発行日 | 2023-06-06 09:35:56+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google