PoseExaminer: Automated Testing of Out-of-Distribution Robustness in Human Pose and Shape Estimation

要約

人間の姿勢と形状 (HPS) の推定方法は、驚くべき結果を達成します。
ただし、現在の HPS ベンチマークは、ほとんどの場合、トレーニング データに類似したシナリオでモデルをテストするように設計されています。
これは、観測されたデータがトレーニング データと大幅に異なり、したがって分布外 (OOD) である場合に、実際のアプリケーションで重大な状況につながる可能性があります。
したがって、HPS メソッドの OOD の堅牢性をテストして改善することが重要です。
この基本的な問題に対処するために、解釈可能なパラメーターを使用してきめ細かく制御できるシミュレーターを開発し、人間の姿勢の多様な画像を探索します。
ポーズ、形、服装を変えて。
PoseExaminer と呼ばれる学習ベースのテスト方法を紹介します。これは、人間のポーズ画像のパラメーター空間を検索して障害モードを見つけることにより、HPS アルゴリズムを自動的に診断します。
この高次元パラメーター空間を探索するための戦略は、マルチエージェント強化学習システムであり、エージェントが協力してパラメーター空間のさまざまな部分を探索します。
私たちの PoseExaminer は、現実世界のシナリオには関連するが現在のベンチマークでは見逃されている現在の最先端モデルのさまざまな制限を発見することを示しています。
たとえば、正確に予測されていないリアルな人間のポーズの広い領域を検出したり、やせ型や肥満体型の人間のパフォーマンスが低下したりします。
さらに、PoseExaminer によって検出された障害モードを利用して HPS メソッドを微調整すると、堅牢性が向上し、標準ベンチマークでのパフォーマンスも大幅に向上することがわかります。
コードは研究目的で利用できます。

要約(オリジナル)

Human pose and shape (HPS) estimation methods achieve remarkable results. However, current HPS benchmarks are mostly designed to test models in scenarios that are similar to the training data. This can lead to critical situations in real-world applications when the observed data differs significantly from the training data and hence is out-of-distribution (OOD). It is therefore important to test and improve the OOD robustness of HPS methods. To address this fundamental problem, we develop a simulator that can be controlled in a fine-grained manner using interpretable parameters to explore the manifold of images of human pose, e.g. by varying poses, shapes, and clothes. We introduce a learning-based testing method, termed PoseExaminer, that automatically diagnoses HPS algorithms by searching over the parameter space of human pose images to find the failure modes. Our strategy for exploring this high-dimensional parameter space is a multi-agent reinforcement learning system, in which the agents collaborate to explore different parts of the parameter space. We show that our PoseExaminer discovers a variety of limitations in current state-of-the-art models that are relevant in real-world scenarios but are missed by current benchmarks. For example, it finds large regions of realistic human poses that are not predicted correctly, as well as reduced performance for humans with skinny and corpulent body shapes. In addition, we show that fine-tuning HPS methods by exploiting the failure modes found by PoseExaminer improve their robustness and even their performance on standard benchmarks by a significant margin. The code are available for research purposes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google