Distance Matters For Improving Performance Estimation Under Covariate Shift

要約

共変量シフトの下でのパフォーマンス推定は、特に機密性の高いユースケースの場合、安全な AI モデル展開の重要な要素です。
最近、この問題に取り組むためにいくつかのソリューションが提案されており、そのほとんどはモデル予測またはソフトマックス信頼度を活用して精度の推定値を導き出します。
ただし、データセットのシフトの下では、サンプルがトレーニング分布から離れすぎると、信頼スコアが適切に調整されなくなる可能性があります。
この研究では、テストサンプルから予想されるトレーニング分布までの距離を考慮することで、共変量シフトの下でのパフォーマンス推定が大幅に改善されることを示します。
正確には、精度推定ステップで信頼できないモデル出力に依存することを避けるために、予想される分布から離れすぎるサンプルにフラグを立てる「距離チェック」を導入します。
私たちは、広範囲の自然および合成分布シフトと数百のモデルにわたる 13 の画像分類タスクでこの方法の有効性を実証し、すべてのタスクにわたる最良のベースラインと比較して相対 MAE 中央値が 27% 向上し、SOTA パフォーマンスが向上したことを実証しました。
13 タスク中 10 タスク。
私たちのコードは https://github.com/melanibe/ distance_matters_performance_estimation で公開されています。

要約(オリジナル)

Performance estimation under covariate shift is a crucial component of safe AI model deployment, especially for sensitive use-cases. Recently, several solutions were proposed to tackle this problem, most leveraging model predictions or softmax confidence to derive accuracy estimates. However, under dataset shifts, confidence scores may become ill-calibrated if samples are too far from the training distribution. In this work, we show that taking into account distances of test samples to their expected training distribution can significantly improve performance estimation under covariate shift. Precisely, we introduce a ‘distance-check’ to flag samples that lie too far from the expected distribution, to avoid relying on their untrustworthy model outputs in the accuracy estimation step. We demonstrate the effectiveness of this method on 13 image classification tasks, across a wide-range of natural and synthetic distribution shifts and hundreds of models, with a median relative MAE improvement of 27% over the best baseline across all tasks, and SOTA performance on 10 out of 13 tasks. Our code is publicly available at https://github.com/melanibe/distance_matters_performance_estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google