Benchmarking 3D Human Pose Estimation Models Under Occlusions

要約

このペーパーでは、閉塞、カメラの位置、および作用の変動に対する既存のモデルの堅牢性と感度を分析することにより、3Dヒトポーズ推定（HPE）の重要な課題に対処します。
マルチカメラのセットアップといくつかの閉塞タイプを備えた多様なシナリオを含む、新しい合成データセットであるBlendMimic3Dを使用して、いくつかの最先端モデルで特定のテストを実施します。
私たちの研究は、2D検出モデルと3D HPEモデルの頻繁な入力に一般的に使用されるCOCOなどの一般的なデータセットとCOCOなどの2Dデータセットの間のキーポイント形式の矛盾に焦点を当てています。
私たちの作品は、標準条件のみで訓練されたモデルのパフォーマンスとモデルの一般性に対する閉塞の影響を探ります。
この調査結果は、閉塞とカメラの設定に対する有意な感度を示唆しており、実際の変動性と閉塞シナリオによりよく適応するモデルの必要性を明らかにしています。
この研究は、複雑な環境での3D HPEシステムの忠実度と適用性を改善するための継続的な取り組みに貢献しました。

要約(オリジナル)

This paper addresses critical challenges in 3D Human Pose Estimation (HPE) by analyzing the robustness and sensitivity of existing models to occlusions, camera position, and action variability. Using a novel synthetic dataset, BlendMimic3D, which includes diverse scenarios with multi-camera setups and several occlusion types, we conduct specific tests on several state-of-the-art models. Our study focuses on the discrepancy in keypoint formats between common datasets such as Human3.6M, and 2D datasets such as COCO, commonly used for 2D detection models and frequently input of 3D HPE models. Our work explores the impact of occlusions on model performance and the generality of models trained exclusively under standard conditions. The findings suggest significant sensitivity to occlusions and camera settings, revealing a need for models that better adapt to real-world variability and occlusion scenarios. This research contributed to ongoing efforts to improve the fidelity and applicability of 3D HPE systems in complex environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google