Learning When to Say ‘I Don’t Know’

要約

特定のニューラル分類子とデータセットの決定空間で不確実な領域を特定して削除するための新しい拒否オプション分類手法を提案します。
このような既存の定式化は、学習された拒否 (削除)/選択 (保持) 関数を採用し、例を拒否するための既知のコスト、または選択された例の精度またはカバレッジに対する強い制約のいずれかを必要とします。
代わりに、補完的な拒否領域を分析し、検証セットを使用してクラスごとのソフトマックスしきい値を学習することにより、代替の定式化を検討します。
目標は、選択された例の精度を最大化することです。これには、拒否された例に対する自然なランダム性許容範囲 (正しい予測よりも不正確な予測を拒否する) が適用されます。
最先端の事前トレーニング済みモデルを使用して、2 次元ポイント、画像、およびテキスト分類データセットを使用して、キャリブレーション済み/未キャリブレーションのソフトマックス スコアを単純にしきい値処理することに対する、提案された方法の利点を示す結果を提供します。
ソース コードは https://github.com/osu-cvl/learning-idk で入手できます。

要約(オリジナル)

We propose a new Reject Option Classification technique to identify and remove regions of uncertainty in the decision space for a given neural classifier and dataset. Such existing formulations employ a learned rejection (remove)/selection (keep) function and require either a known cost for rejecting examples or strong constraints on the accuracy or coverage of the selected examples. We consider an alternative formulation by instead analyzing the complementary reject region and employing a validation set to learn per-class softmax thresholds. The goal is to maximize the accuracy of the selected examples subject to a natural randomness allowance on the rejected examples (rejecting more incorrect than correct predictions). We provide results showing the benefits of the proposed method over na\’ively thresholding calibrated/uncalibrated softmax scores with 2-D points, imagery, and text classification datasets using state-of-the-art pretrained models. Source code is available at https://github.com/osu-cvl/learning-idk.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google