RTMPose: Real-Time Multi-Person Pose Estimation based on MMPose

要約

最近の2Dポーズ推定に関する研究は、公開ベンチマークにおいて優れた性能を達成しているが、産業界における応用は、重いモデルパラメータと高いレイテンシに依然として悩まされている。このギャップを埋めるために、我々は、パラダイム、モデルアーキテクチャ、学習戦略、および配置を含む、ポーズ推定における重要な要因を実証的に探索し、MMPoseをベースとした高性能なリアルタイム多人数ポーズ推定フレームワークRTMPoseを提示する。RTMPose-mはCOCOにおいて75.8%のAPを達成し、Intel i7-11700 CPUで90+ FPS、NVIDIA GTX 1660 Ti GPUで430+ FPS、RTMPose-lはCOCO-WholeBodyにおいて67.0%のAPを達成し、130+ FPSを達成しました。クリティカルなリアルタイムアプリケーションにおけるRTMPoseの能力をさらに評価するために、モバイルデバイスにデプロイした後のパフォーマンスも報告します。我々のRTMPose-sは、Snapdragon 865チップ上で、COCOにおいて72.2%のAPと70以上のFPSを達成し、既存のオープンソースライブラリを凌駕している。コードとモデルはhttps://github.com/open-mmlab/mmpose/tree/1.x/projects/rtmpose。

要約(オリジナル)

Recent studies on 2D pose estimation have achieved excellent performance on public benchmarks, yet its application in the industrial community still suffers from heavy model parameters and high latency. In order to bridge this gap, we empirically explore key factors in pose estimation including paradigm, model architecture, training strategy, and deployment, and present a high-performance real-time multi-person pose estimation framework, RTMPose, based on MMPose. Our RTMPose-m achieves 75.8% AP on COCO with 90+ FPS on an Intel i7-11700 CPU and 430+ FPS on an NVIDIA GTX 1660 Ti GPU, and RTMPose-l achieves 67.0% AP on COCO-WholeBody with 130+ FPS. To further evaluate RTMPose’s capability in critical real-time applications, we also report the performance after deploying on the mobile device. Our RTMPose-s achieves 72.2% AP on COCO with 70+ FPS on a Snapdragon 865 chip, outperforming existing open-source libraries. Code and models are released at https://github.com/open-mmlab/mmpose/tree/1.x/projects/rtmpose.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL