Neyman-Pearson Multi-class Classification via Cost-sensitive Learning

要約

既存の分類法のほとんどは、全体的な誤分類エラー率を最小限に抑えることを目的としています。
ただし、ローンのデフォルト予測などのアプリケーションでは、さまざまな種類のエラーがさまざまな結果をもたらす可能性があります。
この非対称性の問題に対処するために、ネイマン・ピアソン (NP) パラダイムとコスト重視 (CS) パラダイムという 2 つの一般的なパラダイムが開発されました。
NP パラダイムに関するこれまでの研究は、主にバイナリの場合に焦点を当ててきましたが、マルチクラス NP 問題は、その実現可能性が未知であるため、より大きな課題を引き起こしています。
この研究では、強い双対性を介して CS 問題との接続を確立することでマルチクラス NP 問題に取り組み、2 つのアルゴリズムを提案します。
バイナリ分類で重要な NP オラクルの不等式の概念を、マルチクラス コンテキストの NP オラクル プロパティに拡張します。
私たちのアルゴリズムは、特定の条件下でこれらの NP オラクルの特性を満たします。
さらに、マルチクラス NP 問題の実現可能性と強力な二重性を評価する実用的なアルゴリズムを開発します。これにより、実践者は、さまざまな目標誤差レベルでのマルチクラス NP 問題の状況を知ることができます。
シミュレーションと実際のデータ研究により、アルゴリズムの有効性が検証されます。
私たちの知る限り、これは理論的な保証を備えてマルチクラス NP 問題に対処した最初の研究です。
提案されたアルゴリズムは R パッケージ \texttt{npcs} に実装されており、CRAN で入手できます。

要約(オリジナル)

Most existing classification methods aim to minimize the overall misclassification error rate. However, in applications such as loan default prediction, different types of errors can have varying consequences. To address this asymmetry issue, two popular paradigms have been developed: the Neyman-Pearson (NP) paradigm and the cost-sensitive (CS) paradigm. Previous studies on the NP paradigm have primarily focused on the binary case, while the multi-class NP problem poses a greater challenge due to its unknown feasibility. In this work, we tackle the multi-class NP problem by establishing a connection with the CS problem via strong duality and propose two algorithms. We extend the concept of NP oracle inequalities, crucial in binary classifications, to NP oracle properties in the multi-class context. Our algorithms satisfy these NP oracle properties under certain conditions. Furthermore, we develop practical algorithms to assess the feasibility and strong duality in multi-class NP problems, which can offer practitioners the landscape of a multi-class NP problem with various target error levels. Simulations and real data studies validate the effectiveness of our algorithms. To our knowledge, this is the first study to address the multi-class NP problem with theoretical guarantees. The proposed algorithms have been implemented in the R package \texttt{npcs}, which is available on CRAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google