Conservative Prediction via Data-Driven Confidence Minimization

要約

機械学習のセーフティ・クリティカルなアプリケーションでは、学習データにあまり含まれていない未知の入力に対して予測を行わないよう、モデルが保守的であることが望ましい場合が多い。しかし、テスト時にすべての潜在的な入力を予測することは不可能であるため、未知の例を検出することは困難である。これに対処するために、先行研究(Hendrycks et al., 2018)は、訓練分布から離反するように注意深くキュレーションされた補助外れ値データセット上でモデルの信頼度を最小化する。我々は、信頼度最小化のための補助データセットの選択を理論的に分析し、2つの実用的な洞察を明らかにする：(1)補助セットがテスト時に見られるものと同様の未知の例を含む場合、信頼度最小化は未知のテスト例の証明可能な検出につながる、(2)最初の条件が満たされる場合、分布外（OOD）検出のために既知の例をフィルタリングする必要はない。これらのガイドラインに動機づけられ、我々は不確実性データセットに対する信頼度を最小化する、データ駆動型信頼度最小化（Data-Driven Confidence Minimization: DCM）フレームワークを提案する。我々はDCMを、保守的な予測が最重要である2つの問題設定–選択的分類とOOD検出–に適用し、それぞれの設定に対して不確実性データを収集する現実的な方法を提供する。実験では、DCMは、4つのデータセットにおいて、未知の分布でテストした場合、既存の選択的分類アプローチを一貫して凌駕し、12組のID-OODデータセットにおいて、最先端のOOD検出手法を凌駕し、Outlier Exposureと比較して、CIFAR-10とCIFAR-100において、FPR（TPR $95%において）を$6.3%減少と$58.1%減少させた。

要約(オリジナル)

In safety-critical applications of machine learning, it is often desirable for a model to be conservative, abstaining from making predictions on unknown inputs which are not well-represented in the training data. However, detecting unknown examples is challenging, as it is impossible to anticipate all potential inputs at test time. To address this, prior work (Hendrycks et al., 2018) minimizes model confidence on an auxiliary outlier dataset carefully curated to be disjoint from the training distribution. We theoretically analyze the choice of auxiliary dataset for confidence minimization, revealing two actionable insights: (1) if the auxiliary set contains unknown examples similar to those seen at test time, confidence minimization leads to provable detection of unknown test examples, and (2) if the first condition is satisfied, it is unnecessary to filter out known examples for out-of-distribution (OOD) detection. Motivated by these guidelines, we propose the Data-Driven Confidence Minimization (DCM) framework, which minimizes confidence on an uncertainty dataset. We apply DCM to two problem settings in which conservative prediction is paramount — selective classification and OOD detection — and provide a realistic way to gather uncertainty data for each setting. In our experiments, DCM consistently outperforms existing selective classification approaches on 4 datasets when tested on unseen distributions and outperforms state-of-the-art OOD detection methods on 12 ID-OOD dataset pairs, reducing FPR (at TPR $95\%$) by $6.3\%$ and $58.1\%$ on CIFAR-10 and CIFAR-100 compared to Outlier Exposure.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL