IW-GAE: Importance weighted group accuracy estimation for improved calibration and model selection in unsupervised domain adaptation

要約

テストサンプルに対するモデルの信頼度からモデルの精度を推論することは、機械学習の中心的な問題であり、不確実性の表現、モデルの選択、探索などの重要なアプリケーションに関連しています。
これらの接続は i.i.d. で十分に研究されていますが、
設定、配信の変更は、従来の方法に大きな課題をもたらします。
したがって、モデルのキャリブレーションとモデルの選択は、教師なしドメイン適応問題、つまり、ラベルのない分布シフト ドメインで良好なパフォーマンスを達成することが目標であるシナリオでは依然として困難です。
この研究では、新しい重要度加重グループ精度推定器を開発することで、分布の変化から生じる問題に取り組みます。
具体的には、理論分析を使用して、分布シフト領域での正確なグループ精度推定につながる重要度の重みを見つけるための最適化問題を定式化します。
広範な実験により、モデルのキャリブレーションとモデルの選択におけるグループ精度推定の有効性が示されています。
私たちの結果は、精度の伝達可能性の向上と直交する改善の方向として、教師なしドメイン適応における課題に対処するためのグループ精度推定の重要性を強調しています。

要約(オリジナル)

Reasoning about a model’s accuracy on a test sample from its confidence is a central problem in machine learning, being connected to important applications such as uncertainty representation, model selection, and exploration. While these connections have been well-studied in the i.i.d. settings, distribution shifts pose significant challenges to the traditional methods. Therefore, model calibration and model selection remain challenging in the unsupervised domain adaptation problem–a scenario where the goal is to perform well in a distribution shifted domain without labels. In this work, we tackle difficulties coming from distribution shifts by developing a novel importance weighted group accuracy estimator. Specifically, we formulate an optimization problem for finding an importance weight that leads to an accurate group accuracy estimation in the distribution shifted domain with theoretical analyses. Extensive experiments show the effectiveness of group accuracy estimation on model calibration and model selection. Our results emphasize the significance of group accuracy estimation for addressing challenges in unsupervised domain adaptation, as an orthogonal improvement direction with improving transferability of accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google