An efficient, provably exact algorithm for the 0-1 loss linear classification problem

要約

線形分類問題を解決するためのアルゴリズムには長い歴史があり、少なくとも 1936 年の線形判別分析まで遡ります。
線形分離可能なデータの場合、多くのアルゴリズムは、対応する 0-1 損失分類問題の正確な解を効率的に取得できますが、線形分離できないデータの場合、この問題は、完全に一般的に NP 困難であることが示されています。
代替アプローチにはすべて、0-1 損失 (ヒンジやロジスティック損失など) のサロゲートの使用や近似的な組み合わせ検索など、何らかの近似が含まれますが、いずれも問題を正確に解決できるとは保証できません。
固定次元の 0-1 損失線形分類問題に対する正確な、つまり全体的に最適な解を得る効率的なアルゴリズムを見つけることは、未解決の問題のままです。
ここで報告する研究では、0-1 損失分類問題を多項式時間で正確に解決できる新しいアルゴリズム、増分セル列挙 (ICE) の構築について詳しく説明します。
私たちの知る限り、これはこの長年の問題に対して厳密に証明された最初の多項式時間アルゴリズムです。

要約(オリジナル)

Algorithms for solving the linear classification problem have a long history, dating back at least to 1936 with linear discriminant analysis. For linearly separable data, many algorithms can obtain the exact solution to the corresponding 0-1 loss classification problem efficiently, but for data which is not linearly separable, it has been shown that this problem, in full generality, is NP-hard. Alternative approaches all involve approximations of some kind, including the use of surrogates for the 0-1 loss (for example, the hinge or logistic loss) or approximate combinatorial search, none of which can be guaranteed to solve the problem exactly. Finding efficient algorithms to obtain an exact i.e. globally optimal solution for the 0-1 loss linear classification problem with fixed dimension, remains an open problem. In research we report here, we detail the construction of a new algorithm, incremental cell enumeration (ICE), that can solve the 0-1 loss classification problem exactly in polynomial time. To our knowledge, this is the first, rigorously-proven polynomial time algorithm for this long-standing problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google