Generalized Naive Bayes

要約

この論文では、Naive Bayes 構造の拡張として、いわゆる Generalized Naive Bayes 構造を紹介します。
適切な一般化単純ベイズ (GNB) 確率分布を見つける新しい貪欲アルゴリズムを提供します。
これが、少なくとも古典的なナイーブ ベイズ (NB) によって決定された確率分布と同様にデータに適合することを証明します。
次に、それほど制限的ではない条件の下で、最適な GNB 確率分布、つまり KL 発散の意味での最適な構造を見つけることを証明できる 2 番目のアルゴリズムを与えます。
どちらのアルゴリズムも、情報コンテンツを最大化し、冗長性を最小限に抑えるように構築されています。
これらのアルゴリズムに基づいて、特徴選択のための新しい方法が導入されます。
構造、方法論、複雑さの観点から、他の関連アルゴリズムとの類似点と相違点について説明します。
実験結果は、多くの場合、導入されたアルゴリズムが関連するアルゴリズムよりも優れていることを示しています。

要約(オリジナル)

In this paper we introduce the so-called Generalized Naive Bayes structure as an extension of the Naive Bayes structure. We give a new greedy algorithm that finds a good fitting Generalized Naive Bayes (GNB) probability distribution. We prove that this fits the data at least as well as the probability distribution determined by the classical Naive Bayes (NB). Then, under a not very restrictive condition, we give a second algorithm for which we can prove that it finds the optimal GNB probability distribution, i.e. best fitting structure in the sense of KL divergence. Both algorithms are constructed to maximize the information content and aim to minimize redundancy. Based on these algorithms, new methods for feature selection are introduced. We discuss the similarities and differences to other related algorithms in terms of structure, methodology, and complexity. Experimental results show, that the algorithms introduced outperform the related algorithms in many cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google