Predictor-Rejector Multi-Class Abstention: Theoretical Analysis and Algorithms

要約

私たちは、多クラス分類設定における棄権による学習の重要な枠組みを研究します。
この設定では、学習者は、事前に定義されたコストで予測を行わないことを選択できます。
我々は、予測器と拒否器のフレームワークにおけるこの学習問題に対する一連の新しい理論的およびアルゴリズム的結果を提示します。
我々は、強力な非漸近的かつ仮説セット固有の一貫性保証を証明するいくつかの新しいサロゲート損失ファミリーを導入し、それによって 2 つの既存の未解決の問題を前向きに解決します。
これらの保証は、代理損失の観点から棄権損失関数の推定誤差に上限を提供します。
予測子と拒否子が同時に学習される 1 段階設定と、クロスエントロピーなどの標準的なサロゲート損失を使用して最初の段階で予測子が学習されるアプリケーションで重要な 2 段階設定の両方を分析します。
これらの保証は、これらの代理損失の最小化に基づいた新しいマルチクラス棄権アルゴリズムを示唆しています。
また、これらのアルゴリズムを CIFAR-10、CIFAR-100、SVHN データセット上の現在の最先端アルゴリズムと比較した広範な実験の結果も報告します。
私たちの結果は、新しい代理損失の利点を経験的に実証し、広く適用可能な 2 段階棄権アルゴリズムの顕著なパフォーマンスを示しています。

要約(オリジナル)

We study the key framework of learning with abstention in the multi-class classification setting. In this setting, the learner can choose to abstain from making a prediction with some pre-defined cost. We present a series of new theoretical and algorithmic results for this learning problem in the predictor-rejector framework. We introduce several new families of surrogate losses for which we prove strong non-asymptotic and hypothesis set-specific consistency guarantees, thereby resolving positively two existing open questions. These guarantees provide upper bounds on the estimation error of the abstention loss function in terms of that of the surrogate loss. We analyze both a single-stage setting where the predictor and rejector are learned simultaneously and a two-stage setting crucial in applications, where the predictor is learned in a first stage using a standard surrogate loss such as cross-entropy. These guarantees suggest new multi-class abstention algorithms based on minimizing these surrogate losses. We also report the results of extensive experiments comparing these algorithms to the current state-of-the-art algorithms on CIFAR-10, CIFAR-100 and SVHN datasets. Our results demonstrate empirically the benefit of our new surrogate losses and show the remarkable performance of our broadly applicable two-stage abstention algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google