AUC-based Selective Classification

要約

選択的分類 (または拒否オプションを使用した分類) では、分類器と選択関数を組み合わせて、予測を受け入れるかどうかを決定します。
このフレームワークは、カバレッジ (予測を受け入れる確率) と、通常は分配損失関数によって測定される予測パフォーマンスをトレードオフします。
クレジット スコアリングなどの多くのアプリケーション シナリオでは、代わりに、ROC 曲線下の領域 (AUC) などのランキング メトリックによってパフォーマンスが測定されます。
選択関数を特定の確率的バイナリ分類器に関連付けるために、モデルに依存しないアプローチを提案します。
このアプローチは、特に AUC の最適化を目的としています。
このような目標を達成するために、理論的な正当化と AUCROSS と呼ばれる新しいアルゴリズムの両方を提供します。
実験は、私たちの方法がAUCのトレードオフカバレッジに成功し、精度の最適化を目的とした既存の選択的分類方法を改善することを示しています。

要約(オリジナル)

Selective classification (or classification with a reject option) pairs a classifier with a selection function to determine whether or not a prediction should be accepted. This framework trades off coverage (probability of accepting a prediction) with predictive performance, typically measured by distributive loss functions. In many application scenarios, such as credit scoring, performance is instead measured by ranking metrics, such as the Area Under the ROC Curve (AUC). We propose a model-agnostic approach to associate a selection function to a given probabilistic binary classifier. The approach is specifically targeted at optimizing the AUC. We provide both theoretical justifications and a novel algorithm, called AUCROSS, to achieve such a goal. Experiments show that our method succeeds in trading-off coverage for AUC, improving over existing selective classification methods targeted at optimizing accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google