Bias-Compensated Integral Regression for Human Pose Estimation

要約

人間と手の姿勢推定では、ヒートマップは身体または手のキーポイントの重要な中間表現です。
ヒートマップを最終的な関節座標にデコードする 2 つの一般的な方法は、ヒートマップ検出で行われるように argmax を使用する方法と、積分回帰で行われるようにソフトマックスと期待値を使用する方法です。
積分回帰はエンドツーエンドで学習可能ですが、検出よりも精度が低くなります。
この論文では、ソフトマックスと期待値操作を組み合わせた結果として生じる積分回帰から誘導されるバイアスを明らかにします。
このバイアスは、多くの場合、ネットワークに退化的にローカライズされたヒートマップを学習させ、キーポイントの真の基礎となる分布を覆い隠し、精度の低下につながります。
トレーニングに関しては、積分回帰の勾配を調査することにより、ヒートマップを更新するための積分回帰の暗黙のガイダンスにより、検出よりも収束が遅くなることを示しています。
上記の 2 つの制限に対抗するために、バイアスを補正する積分回帰ベースのフレームワークである Bias Compensated Integral Regression (BCIR) を提案します。
BCIR には、トレーニングを高速化し、予測精度を向上させるために、ガウス事前損失も組み込まれています。
人体と手の両方のベンチマークに関する実験結果は、BCIR が元の積分回帰よりもトレーニングが高速で正確であることを示しており、最先端の検出方法と競合できるようになっています。

要約(オリジナル)

In human and hand pose estimation, heatmaps are a crucial intermediate representation for a body or hand keypoint. Two popular methods to decode the heatmap into a final joint coordinate are via an argmax, as done in heatmap detection, or via softmax and expectation, as done in integral regression. Integral regression is learnable end-to-end, but has lower accuracy than detection. This paper uncovers an induced bias from integral regression that results from combining the softmax and the expectation operation. This bias often forces the network to learn degenerately localized heatmaps, obscuring the keypoint’s true underlying distribution and leads to lower accuracies. Training-wise, by investigating the gradients of integral regression, we show that the implicit guidance of integral regression to update the heatmap makes it slower to converge than detection. To counter the above two limitations, we propose Bias Compensated Integral Regression (BCIR), an integral regression-based framework that compensates for the bias. BCIR also incorporates a Gaussian prior loss to speed up training and improve prediction accuracy. Experimental results on both the human body and hand benchmarks show that BCIR is faster to train and more accurate than the original integral regression, making it competitive with state-of-the-art detection methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google