Quantifying Local Model Validity using Active Learning

要約

機械学習モデルの実際のアプリケーションは、多くの場合、法律またはポリシーに基づく規制の対象となります。
これらの規制の中には、モデルの有効性、つまり近似誤差がしきい値より小さいことを保証する必要があるものもあります。
一般に、グローバル メトリックは特定の予測の妥当性を判断するには感度が低すぎるのに対し、ローカル妥当性の評価には追加のデータを収集する必要があるためコストがかかります。アクティブなデータを使用して必要なデータ量を削減しながら、モデル誤差を学習してローカル妥当性推定値を取得することを提案します。
学ぶ。
モデル検証ベンチマークを使用して、提案された方法が比較的少量のデータを使用して十分な識別特性を備えたエラー モデルを導き出せるという経験的証拠を提供します。
さらに、代替アプローチと比較して、有効性境界の局所的な変化に対する感度が向上することが実証されています。

要約(オリジナル)

Real-world applications of machine learning models are often subject to legal or policy-based regulations. Some of these regulations require ensuring the validity of the model, i.e., the approximation error being smaller than a threshold. A global metric is generally too insensitive to determine the validity of a specific prediction, whereas evaluating local validity is costly since it requires gathering additional data.We propose learning the model error to acquire a local validity estimate while reducing the amount of required data through active learning. Using model validation benchmarks, we provide empirical evidence that the proposed method can lead to an error model with sufficient discriminative properties using a relatively small amount of data. Furthermore, an increased sensitivity to local changes of the validity bounds compared to alternative approaches is demonstrated.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google