Information Modified K-Nearest Neighbor

要約

この研究論文では、K-最近傍(KNN)アルゴリズムの性能向上を目的とした新しい分類法を紹介する。我々のアプローチは、重みの重要性を高めるために相互情報(MI)を活用し、値の割り当てを改良するために、協力ゲーム理論に由来する概念であるシャプレー値から着想を得る。KNNの根底にある基本的な概念は、そのk近傍の大多数に基づいてサンプルを分類することである。これらの近傍の距離とラベルの両方が重要であるが、従来のKNNは全てのサンプルに等しい重みを割り当て、距離とラベルに基づく各近傍の重要度の変化を考慮することは先行していた。 情報修正KNN(IMKNN)として知られる提案手法では、我々は単純なアルゴリズムを導入することでこの問題に対処する。本アプローチの有効性を評価するために、従来のKNNと同様に、KNNの7つの現代的な変種と比較する。これらの変種はそれぞれ独自の利点と限界を示す。広く使われている12のデータセットで実験を行い、精度、精度、想起の観点から手法の性能を評価する。 我々の研究は、様々な分類タスクにおけるIMKNNの優れた性能を強調することで、異なるデータセットと基準において、IMKNNが一貫して他の手法を上回ることを実証する。これらの知見は、多様なアプリケーションにおいてKNNアルゴリズムの能力を強化する価値あるツールとしてのIMKNNの可能性を強調するものである。

要約(オリジナル)

In this research paper, we introduce a novel classification method aimed at improving the performance of the K-Nearest Neighbors (KNN) algorithm. Our approach leverages Mutual Information (MI) to enhance the significance of weights and draw inspiration from Shapley values, a concept originating from cooperative game theory, to refine value allocation. The fundamental concept underlying KNN is the classification of samples based on the majority thorough their k-nearest neighbors. While both the distances and labels of these neighbors are crucial, traditional KNN assigns equal weight to all samples and prevance considering the varying importance of each neighbor based on their distances and labels. In the proposed method, known as Information-Modified KNN (IMKNN), we address this issue by introducing a straightforward algorithm. To evaluate the effectiveness of our approach, it is compared with 7 contemporary variants of KNN, as well as the traditional KNN. Each of these variants exhibits its unique advantages and limitations. We conduct experiments on 12 widely-used datasets, assessing the methods’ performance in terms of accuracy, precision and recall. Our study demonstrates that IMKNN consistently outperforms other methods across different datasets and criteria by highlighting its superior performance in various classification tasks. These findings underscore the potential of IMKNN as a valuable tool for enhancing the capabilities of the KNN algorithm in diverse applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL