Self-Correctable and Adaptable Inference for Generalizable Human Pose Estimation

要約

人間の姿勢の推定、および他の多くの機械学習や予測タスクにおける中心的な課題は、一般化の問題です。
学習したネットワークには、予測誤差を特徴付け、テスト サンプルからフィードバック情報を生成し、個々のテスト サンプルごとにオンザフライで予測誤差を修正する機能がないため、一般化のパフォーマンスが低下します。
この作業では、自己修正可能で適応可能な推論 (SCAI) メソッドを導入して、ネットワーク予測の一般化の課題に対処し、人間の姿勢推定を例として使用して、その有効性とパフォーマンスを示します。
フィットネス フィードバック エラーによって条件付けられた予測結果を修正するための修正ネットワークを学習します。
このフィードバック エラーは、予測結果を元の入力ドメインにマッピングし、それを元の入力と比較する学習済みフィットネス フィードバック ネットワークによって生成されます。
興味深いことに、この自己参照フィードバック エラーは、実際の予測エラーと高度に相関していることがわかりました。
この強い相関関係は、このエラーをフィードバックとして使用して修正プロセスを導くことができることを示唆しています。
また、推論プロセス中に修正ネットワークをすばやく適応させて最適化するための損失関数としても使用できます。
人間の姿勢推定に関する広範な実験結果は、提案された SCAI メソッドが人間の姿勢推定の一般化機能とパフォーマンスを大幅に改善できることを示しています。

要約(オリジナル)

A central challenge in human pose estimation, as well as in many other machine learning and prediction tasks, is the generalization problem. The learned network does not have the capability to characterize the prediction error, generate feedback information from the test sample, and correct the prediction error on the fly for each individual test sample, which results in degraded performance in generalization. In this work, we introduce a self-correctable and adaptable inference (SCAI) method to address the generalization challenge of network prediction and use human pose estimation as an example to demonstrate its effectiveness and performance. We learn a correction network to correct the prediction result conditioned by a fitness feedback error. This feedback error is generated by a learned fitness feedback network which maps the prediction result to the original input domain and compares it against the original input. Interestingly, we find that this self-referential feedback error is highly correlated with the actual prediction error. This strong correlation suggests that we can use this error as feedback to guide the correction process. It can be also used as a loss function to quickly adapt and optimize the correction network during the inference process. Our extensive experimental results on human pose estimation demonstrate that the proposed SCAI method is able to significantly improve the generalization capability and performance of human pose estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google