Improving 2D Human Pose Estimation across Unseen Camera Views with Synthetic Data

要約

人間の姿勢推定は徹底的に研究された問題です。
ただし、ほとんどのデータセットは側面図と正面図のシナリオに焦点を当てています。
私たちは、極端な視点やポーズによってもたらされる課題に取り組む新しいアプローチを提案することで、この限界に対処します。
COCO データセットを強化するために、ポーズとビューを包括的に制御する新しい合成データ生成方法である RePoGen、RarE POses GENerator を導入します。
実画像の新しいデータセットでの実験では、RePoGen データを COCO に追加すると、トップビューの姿勢推定に対する以前の試みを上回り、ボトムビュー データセットのパフォーマンスが大幅に向上することがわかりました。
上面図と下面図の両方のデータに関する広範なアブレーション研究を通じて、方法論の選択の寄与を解明し、パフォーマンスの向上を実証します。
コードとデータセットはプロジェクトの Web サイトから入手できます。

要約(オリジナル)

Human Pose Estimation is a thoroughly researched problem; however, most datasets focus on the side and front-view scenarios. We address the limitation by proposing a novel approach that tackles the challenges posed by extreme viewpoints and poses. We introduce a new method for synthetic data generation – RePoGen, RarE POses GENerator – with comprehensive control over pose and view to augment the COCO dataset. Experiments on a new dataset of real images show that adding RePoGen data to the COCO surpasses previous attempts to top-view pose estimation and significantly improves performance on the bottom-view dataset. Through an extensive ablation study on both the top and bottom view data, we elucidate the contributions of methodological choices and demonstrate improved performance. The code and the datasets are available on the project website.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google