AlphaPose: Whole-Body Regional Multi-Person Pose Estimation and Tracking in Real-Time

要約

コンピュータビジョンにおいて、正確な全身マルチパーソンのポーズ推定と追跡は、重要かつ困難な課題である。人間の微妙な動作を捉えて複雑な行動分析を行うためには、従来の身体のみの姿勢推定ではなく、顔、身体、手、足を含む全身の姿勢推定が必要不可欠です。本論文では、リアルタイムで走行しながら高精度な全身姿勢推定と追跡を同時に行うシステムAlphaPoseを提案します。そのために、我々はいくつかの新しい技術を提案する。具体的には、高速かつ高精度な位置検出のためのSymmetric Integral Keypoint Regression (SIKR)、冗長な人物検出を排除するためのParametric Pose Non-Maximum-Suppression (P-NMS)、姿勢推定と追跡のためのPose Aware Identity Embeddingを提案しています。また、学習時には、Part-Guided Proposal Generator (PGPG)とマルチドメイン知識抽出により、さらに精度を向上させることができます。本手法は、不正確なバウンディングボックスや冗長な検出がある場合でも、全身のキーポイントを正確に位置決めし、同時に人間を追跡することが可能である。COCO-wholebody、COCO、PoseTrack、そして我々が提案するHalpe-FullBodyポーズ推定データセットにおいて、速度と精度の両方において、現在の最先端手法に対する著しい改善を示している。我々のモデル、ソースコード、データセットは、https://github.com/MVIG-SJTU/AlphaPose で一般に公開されています。

要約(オリジナル)

Accurate whole-body multi-person pose estimation and tracking is an important yet challenging topic in computer vision. To capture the subtle actions of humans for complex behavior analysis, whole-body pose estimation including the face, body, hand and foot is essential over conventional body-only pose estimation. In this paper, we present AlphaPose, a system that can perform accurate whole-body pose estimation and tracking jointly while running in realtime. To this end, we propose several new techniques: Symmetric Integral Keypoint Regression (SIKR) for fast and fine localization, Parametric Pose Non-Maximum-Suppression (P-NMS) for eliminating redundant human detections and Pose Aware Identity Embedding for jointly pose estimation and tracking. During training, we resort to Part-Guided Proposal Generator (PGPG) and multi-domain knowledge distillation to further improve the accuracy. Our method is able to localize whole-body keypoints accurately and tracks humans simultaneously given inaccurate bounding boxes and redundant detections. We show a significant improvement over current state-of-the-art methods in both speed and accuracy on COCO-wholebody, COCO, PoseTrack, and our proposed Halpe-FullBody pose estimation dataset. Our model, source codes and dataset are made publicly available at https://github.com/MVIG-SJTU/AlphaPose.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL