Unveiling the Power of Sparse Neural Networks for Feature Selection

要約

スパース ニューラル ネットワーク (SNN) は、効率的な特徴選択のための強力なツールとして登場しました。
SNN 内で動的スパース トレーニング (DST) アルゴリズムを活用することで、計算オーバーヘッドを大幅に削減しながら、有望な特徴選択機能が実証されました。
これらの進歩にもかかわらず、機能の選択に関していくつかの重要な側面が十分に検討されていないままです。
ネットワーク トレーニング用の DST アルゴリズムの選択、特徴/ニューロンをランク付けするためのメトリックの選択、および高密度ネットワークと比較した場合の多様なデータセットにわたるこれらの方法のパフォーマンスの比較に関しては、疑問が残ります。
この論文では、スパース ニューラル ネットワークを使用した特徴選択の包括的な体系的な分析を提示することで、これらのギャップに対処します。
さらに、SNN のコンテキスト内で特徴量の重要性を定量化するように設計された、スパース ニューラル ネットワークの特性を考慮した新しいメトリックを導入します。
私たちの調査結果によると、DST アルゴリズムでトレーニングされた SNN を使用した特徴選択は、高密度ネットワークと比較して、平均で $50\%$ 以上のメモリと $55\%$ を超える FLOP 削減を達成でき、同時に選択された特徴の品質の点で優れていることがわかりました。
。
私たちのコードと補足資料は、GitHub (\url{https://github.com/zahraatashgahi/Neuron-Attribution}) で入手できます。

要約(オリジナル)

Sparse Neural Networks (SNNs) have emerged as powerful tools for efficient feature selection. Leveraging the dynamic sparse training (DST) algorithms within SNNs has demonstrated promising feature selection capabilities while drastically reducing computational overheads. Despite these advancements, several critical aspects remain insufficiently explored for feature selection. Questions persist regarding the choice of the DST algorithm for network training, the choice of metric for ranking features/neurons, and the comparative performance of these methods across diverse datasets when compared to dense networks. This paper addresses these gaps by presenting a comprehensive systematic analysis of feature selection with sparse neural networks. Moreover, we introduce a novel metric considering sparse neural network characteristics, which is designed to quantify feature importance within the context of SNNs. Our findings show that feature selection with SNNs trained with DST algorithms can achieve, on average, more than $50\%$ memory and $55\%$ FLOPs reduction compared to the dense networks, while outperforming them in terms of the quality of the selected features. Our code and the supplementary material are available on GitHub (\url{https://github.com/zahraatashgahi/Neuron-Attribution}).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google