Human Pose Estimation in Extremely Low-Light Conditions

要約

超低照度画像における人間の姿勢推定を研究しています。
このタスクは、正確なラベルを使用して実際の低照度画像を収集することの難しさと、予測品質を大幅に低下させるひどく破損した入力のために困難です。
最初の問題に対処するために、専用のカメラ システムを開発し、正確なポーズ ラベルを使用して実際の低照度画像の新しいデータセットを構築します。
当社のカメラ システムのおかげで、データセット内の各低照度画像は、整列された明るい画像と結合されます。これにより、正確なポーズのラベル付けが可能になり、トレーニング中に特権情報として使用されます。
また、特権情報を十分に活用して、照明条件に影響されない表現を学習する新しいモデルと新しいトレーニング戦略も提案します。
私たちの方法は、実際の非常に暗い画像で優れたパフォーマンスを発揮し、広範な分析により、モデルとデータセットの両方が成功に貢献していることが検証されます.

要約(オリジナル)

We study human pose estimation in extremely low-light images. This task is challenging due to the difficulty of collecting real low-light images with accurate labels, and severely corrupted inputs that degrade prediction quality significantly. To address the first issue, we develop a dedicated camera system and build a new dataset of real low-light images with accurate pose labels. Thanks to our camera system, each low-light image in our dataset is coupled with an aligned well-lit image, which enables accurate pose labeling and is used as privileged information during training. We also propose a new model and a new training strategy that fully exploit the privileged information to learn representation insensitive to lighting conditions. Our method demonstrates outstanding performance on real extremely low light images, and extensive analyses validate that both of our model and dataset contribute to the success.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google