A Two-Stage Active Learning Algorithm for $k$-Nearest Neighbors

要約

$k$-最近傍分類は、分布スケールの変化への自動適応などの望ましい特性があるため、一般的なノンパラメトリック手法です。
残念ながら、これらの望ましい特性を自然に保持するローカル投票ベースの分類器のトレーニングのためのアクティブ ラーニング戦略を設計することは、これまでのところ困難であることが判明しています。そのため、$k$-最近傍分類のためのアクティブ ラーニング戦略は文献から著しく欠落しています。
この研究では、$k$-最近傍分類器のトレーニングのためのシンプルで直観的な能動学習アルゴリズムを導入します。これは、予測時に $k$-最近傍投票の概念を保持する文献初のアルゴリズムです。
私たちは、私たちのスキームによって取得されたサンプルで訓練された修正 $k$-最近傍分類器の一貫性保証を提供し、条件付き確率関数 $\mathbb{P}(Y=y|X=x)$ が十分に滑らかで、
Tsybakov ノイズ条件が成立すると、能動的にトレーニングされた分類器は、受動的にトレーニングされた $k$-最近傍分類器よりも速い漸近速度でベイズ最適分類器に収束します。

要約(オリジナル)

$k$-nearest neighbor classification is a popular non-parametric method because of desirable properties like automatic adaption to distributional scale changes. Unfortunately, it has thus far proved difficult to design active learning strategies for the training of local voting-based classifiers that naturally retain these desirable properties, and hence active learning strategies for $k$-nearest neighbor classification have been conspicuously missing from the literature. In this work, we introduce a simple and intuitive active learning algorithm for the training of $k$-nearest neighbor classifiers, the first in the literature which retains the concept of the $k$-nearest neighbor vote at prediction time. We provide consistency guarantees for a modified $k$-nearest neighbors classifier trained on samples acquired via our scheme, and show that when the conditional probability function $\mathbb{P}(Y=y|X=x)$ is sufficiently smooth and the Tsybakov noise condition holds, our actively trained classifiers converge to the Bayes optimal classifier at a faster asymptotic rate than passively trained $k$-nearest neighbor classifiers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google