Rethinking Robustness in Machine Learning: A Posterior Agreement Approach

要約

共変量シフトに対するアルゴリズムの堅牢性は、現実世界における機械学習アルゴリズムの展開に重大な意味を持つ基本的な問題です。
現在の評価方法は、堅牢性の定義を主に標準的な一般化の定義と一致させ、精度ベースのスコアなどの標準的なメトリックに依存しており、パフォーマンス評価のために設計されていますが、分布シフトへの堅牢性を推定するための適用を含む理論的基盤がありません。
この作業では、Desiderataを堅牢性メトリックのために設定し、モデル検証の事後一致（PA）理論に直接従う堅牢性評価問題の新しい原則的なフレームワークを提案します。
具体的には、PAフレームワークを、監視された分類タスクで堅牢性評価のためにPAメトリックを提案することにより、共変量シフト設定に拡張します。
制御された環境におけるメトリックの健全性を評価し、2つの異なる共変量シフトシナリオでの経験的堅牢性分析を通じて評価します：敵対的な学習とドメインの一般化。
シフトの異なる性質と大きさ、および影響を受ける観察の割合の下でいくつかのモデルを評価することにより、PAの適合性を示します。
結果は、PAメトリックが、摂取された観測が少ない場合でも、学習アルゴリズムの脆弱性の賢明で一貫した分析を提供することを示しています。

要約(オリジナル)

The robustness of algorithms against covariate shifts is a fundamental problem with critical implications for the deployment of machine learning algorithms in the real world. Current evaluation methods predominantly match the robustness definition to that of standard generalization, relying on standard metrics like accuracy-based scores, which, while designed for performance assessment, lack a theoretical foundation encompassing their application in estimating robustness to distribution shifts. In this work, we set the desiderata for a robustness metric, and we propose a novel principled framework for the robustness assessment problem that directly follows the Posterior Agreement (PA) theory of model validation. Specifically, we extend the PA framework to the covariate shift setting by proposing a PA metric for robustness evaluation in supervised classification tasks. We assess the soundness of our metric in controlled environments and through an empirical robustness analysis in two different covariate shift scenarios: adversarial learning and domain generalization. We illustrate the suitability of PA by evaluating several models under different nature and magnitudes of shift, and proportion of affected observations. The results show that the PA metric provides a sensible and consistent analysis of the vulnerabilities in learning algorithms, even in the presence of few perturbed observations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google