Supervised Feature Selection with Neuron Evolution in Sparse Neural Networks

要約

データから有益な変数のサブセットを選択する機能選択は、モデルの解釈可能性とパフォーマンスを向上させるだけでなく、リソースの需要を軽減します。
近年、ニューラルネットワークを用いた特徴選択が注目されています。
ただし、既存の方法は通常、高次元のデータセットに適用すると計算コストが高くなります。
この論文では、進化プロセスに着想を得て、\enquote{NeuroFS} というスパース ニューラル ネットワークを使用した、リソース効率の高い新しい教師付き特徴選択方法を提案します。
ゼロからトレーニングされたスパース ニューラル ネットワークの入力層から有益でない特徴を徐々に取り除くことにより、NeuroFS は有益な特徴のサブセットを効率的に導き出します。
さまざまな種類の $11$ の低次元および高次元の現実世界のベンチマークでいくつかの実験を実行することにより、NeuroFS が、考慮されている最先端の教師付き機能選択モデルの中で最高のランキングベースのスコアを達成することを実証します。
コードは GitHub で入手できます。

要約(オリジナル)

Feature selection that selects an informative subset of variables from data not only enhances the model interpretability and performance but also alleviates the resource demands. Recently, there has been growing attention on feature selection using neural networks. However, existing methods usually suffer from high computational costs when applied to high-dimensional datasets. In this paper, inspired by evolution processes, we propose a novel resource-efficient supervised feature selection method using sparse neural networks, named \enquote{NeuroFS}. By gradually pruning the uninformative features from the input layer of a sparse neural network trained from scratch, NeuroFS derives an informative subset of features efficiently. By performing several experiments on $11$ low and high-dimensional real-world benchmarks of different types, we demonstrate that NeuroFS achieves the highest ranking-based score among the considered state-of-the-art supervised feature selection models. The code is available on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google