Selective Classification Under Distribution Shifts

要約

選択的分類 (SC) では、分類器は過度のエラーを避けるために、間違っている可能性が高い予測を控えます。
不完全な分類器 (データの固有の統計ノイズや分類器の堅牢性の問題、あるいはそれ以外の理由で不完全) を一か八かのシナリオで導入するには、SC が魅力的であり、従うべき道であるように思われます。
SC における数十年の研究にもかかわらず、これまでの SC 手法のほとんどは依然として理想的な統計設定のみに焦点を当てています。つまり、実際のデータは野生から取得できるにもかかわらず、展開時のデータ分布がトレーニング時のデータ分布と同じであるということです。
このギャップを埋めるために、この論文では、一般化選択分類と呼ばれる分布シフトを考慮した SC フレームワークを提案します。これは、典型的なサンプルに加えて、ラベルシフト (または分布外) および共変量シフトのサンプルをカバーします。
– 配布サンプル。SC 文献ではこの種のものとしては初めてです。
我々は、深層学習（DL）分類器上の一般化SCのための非トレーニングベースの信頼スコア関数に焦点を当て、2つの新しいマージンベースのスコア関数を提案します。
広範な分析と実験を通じて、提案したスコア関数が、さまざまな分類タスクと DL 分類器に対する一般化された SC の既存のスコア関数よりも効果的で信頼性が高いことを示します。

要約(オリジナル)

In selective classification (SC), a classifier abstains from making predictions that are likely to be wrong to avoid excessive errors. To deploy imperfect classifiers — imperfect either due to intrinsic statistical noise of data or for robustness issue of the classifier or beyond — in high-stakes scenarios, SC appears to be an attractive and necessary path to follow. Despite decades of research in SC, most previous SC methods still focus on the ideal statistical setting only, i.e., the data distribution at deployment is the same as that of training, although practical data can come from the wild. To bridge this gap, in this paper, we propose an SC framework that takes into account distribution shifts, termed generalized selective classification, that covers label-shifted (or out-of-distribution) and covariate-shifted samples, in addition to typical in-distribution samples, the first of its kind in the SC literature. We focus on non-training-based confidence-score functions for generalized SC on deep learning (DL) classifiers and propose two novel margin-based score functions. Through extensive analysis and experiments, we show that our proposed score functions are more effective and reliable than the existing ones for generalized SC on a variety of classification tasks and DL classifiers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google