Optimal Projections for Classification with Naive Bayes

要約

Naive Bayes 分類モデルでは、クラスの条件付き密度は、基底方向に沿った周辺密度の積として推定されます。
我々は、関連する分類モデルの識別力を強化することを目的として、この因数分解の代替基礎を取得する問題を研究します。
この問題を射影追跡として定式化し、分類を実行するための最適な線形射影を見つけます。
最適性は、予測データの単純ベイズ因数分解を使用して確率が推定される多項尤度に基づいて決定されます。
投影の追求により、次元の削減と視覚化という追加の利点が得られます。
クラス条件付き独立成分分析との直感的な関係について説明し、これが実際のアプリケーションでどのように視覚的に実現されるかを示します。
結果として得られる分類モデルのパフォーマンスは、公開されている (162) ベンチマーク データ セットの大規模なコレクションを使用し、関連する代替モデルと比較して調査されます。
提案されたアプローチは他の一般的な確率判別分析モデルよりも大幅に優れており、サポート ベクター マシンとの競争力が高いことがわかりました。

要約(オリジナル)

In the Naive Bayes classification model the class conditional densities are estimated as the products of their marginal densities along the cardinal basis directions. We study the problem of obtaining an alternative basis for this factorisation with the objective of enhancing the discriminatory power of the associated classification model. We formulate the problem as a projection pursuit to find the optimal linear projection on which to perform classification. Optimality is determined based on the multinomial likelihood within which probabilities are estimated using the Naive Bayes factorisation of the projected data. Projection pursuit offers the added benefits of dimension reduction and visualisation. We discuss an intuitive connection with class conditional independent components analysis, and show how this is realised visually in practical applications. The performance of the resulting classification models is investigated using a large collection of (162) publicly available benchmark data sets and in comparison with relevant alternatives. We find that the proposed approach substantially outperforms other popular probabilistic discriminant analysis models and is highly competitive with Support Vector Machines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google