A Learning Based Hypothesis Test for Harmful Covariate Shift

要約

テスト時に共変量シフトを迅速かつ正確に特定する機能は、リスクの高いドメインにデプロイされた安全な機械学習システムの重要なコンポーネントであり、見過ごされがちです。
分布外のテスト例で予測を行うべきではない場合を検出する方法は存在しますが、トレーニングとテスト時間の間の分布レベルの違いを特定することは、モデルをデプロイ設定から削除して再トレーニングする必要がある時期を判断するのに役立ちます。
この作業では、予測モデルの一般化を弱める可能性のある分布の変化として、有害な共変量シフト (HCS) を定義します。
HCS を検出するために、トレーニング データに同意し、テスト データに同意しないようにトレーニングされた分類器のアンサンブル間の不一致を使用します。
このアンサンブルをトレーニングするための損失関数を導出し、不一致率とエントロピーが HCS の強力な識別統計を表すことを示します。
経験的に、さまざまな高次元データセットで統計的確実性を備えた有害な共変量シフトを検出する方法の能力を示します。
多数のドメインとモダリティにわたって、特に観察されたテスト サンプルの数が少ない場合に、既存の方法と比較して最先端のパフォーマンスを示します。

要約(オリジナル)

The ability to quickly and accurately identify covariate shift at test time is a critical and often overlooked component of safe machine learning systems deployed in high-risk domains. While methods exist for detecting when predictions should not be made on out-of-distribution test examples, identifying distributional level differences between training and test time can help determine when a model should be removed from the deployment setting and retrained. In this work, we define harmful covariate shift (HCS) as a change in distribution that may weaken the generalization of a predictive model. To detect HCS, we use the discordance between an ensemble of classifiers trained to agree on training data and disagree on test data. We derive a loss function for training this ensemble and show that the disagreement rate and entropy represent powerful discriminative statistics for HCS. Empirically, we demonstrate the ability of our method to detect harmful covariate shift with statistical certainty on a variety of high-dimensional datasets. Across numerous domains and modalities, we show state-of-the-art performance compared to existing methods, particularly when the number of observed test samples is small.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google