Theoretically Grounded Loss Functions and Algorithms for Score-Based Multi-Class Abstention

要約

棄権学習は、学習者が何らかのコストを払って予測を棄権できる重要なシナリオです。
この論文では、マルチクラス分類設定における棄権ありの学習のスコアベースの定式化を分析します。
棄権損失関数の代理損失の新しいファミリーを導入します。これには、1 段階設定での最先端の代理損失と 2 段階設定での新しい損失関数のファミリーが含まれます。
我々は、これらの代理損失に対する強力な非漸近的かつ仮説セット固有の一貫性保証を証明します。これは、代理損失の推定誤差に関して棄権損失関数の推定誤差の上限を定めます。
私たちの境界は、さまざまなスコアベースのサロゲートを比較し、提案されたサロゲートの損失を最小限に抑えることで新しい棄権アルゴリズムの設計をガイドするのに役立ちます。
私たちは、CIFAR-10、CIFAR-100、SVHN データセットに関する新しいアルゴリズムと、新しい代理損失と 2 段階の棄権アルゴリズムの実際的な重要性を実験的に評価します。
私たちの結果は、最先端のスコアベースの代理損失の相対的なパフォーマンスがデータセットによって異なる可能性があることも示しています。

要約(オリジナル)

Learning with abstention is a key scenario where the learner can abstain from making a prediction at some cost. In this paper, we analyze the score-based formulation of learning with abstention in the multi-class classification setting. We introduce new families of surrogate losses for the abstention loss function, which include the state-of-the-art surrogate losses in the single-stage setting and a novel family of loss functions in the two-stage setting. We prove strong non-asymptotic and hypothesis set-specific consistency guarantees for these surrogate losses, which upper-bound the estimation error of the abstention loss function in terms of the estimation error of the surrogate loss. Our bounds can help compare different score-based surrogates and guide the design of novel abstention algorithms by minimizing the proposed surrogate losses. We experimentally evaluate our new algorithms on CIFAR-10, CIFAR-100, and SVHN datasets and the practical significance of our new surrogate losses and two-stage abstention algorithms. Our results also show that the relative performance of the state-of-the-art score-based surrogate losses can vary across datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google