Are Sparse Neural Networks Better Hard Sample Learners?

要約

ディープラーニングは目覚ましい進歩を遂げていますが、ハードサンプルは通常ノイズが多く複雑であるため、ハードサンプルから学習することは依然として困難な課題です。
これらの硬いサンプルは、ディープ ニューラル ネットワークの最適なパフォーマンスにおいて重要な役割を果たします。
スパース ニューラル ネットワーク (SNN) に関するほとんどの研究は標準的なトレーニング データに焦点を当てており、複雑で困難なデータに対する SNN の有効性を理解するにはギャップが残されています。
この論文のシナリオにわたる広範な調査により、困難なサンプルでトレーニングされたほとんどの SNN は、特定のスパース性レベルで、特にデータが限られている場合、精度において密なモデルと同等またはそれを上回ることが多いことが明らかになりました。
層ごとの密度比は、特に事前トレーニングされた初期化なしで最初からトレーニングするメソッドの場合、SNN のパフォーマンスにおいて重要な役割を果たす傾向があることが観察されています。
これらの洞察は、SNN の動作と、データ中心の AI における効率的な学習アプローチの可能性についての理解を深めます。
私たちのコードは \url{https://github.com/QiaoXiao7282/hard_sample_learners} で公開されています。

要約(オリジナル)

While deep learning has demonstrated impressive progress, it remains a daunting challenge to learn from hard samples as these samples are usually noisy and intricate. These hard samples play a crucial role in the optimal performance of deep neural networks. Most research on Sparse Neural Networks (SNNs) has focused on standard training data, leaving gaps in understanding their effectiveness on complex and challenging data. This paper’s extensive investigation across scenarios reveals that most SNNs trained on challenging samples can often match or surpass dense models in accuracy at certain sparsity levels, especially with limited data. We observe that layer-wise density ratios tend to play an important role in SNN performance, particularly for methods that train from scratch without pre-trained initialization. These insights enhance our understanding of SNNs’ behavior and potential for efficient learning approaches in data-centric AI. Our code is publicly available at: \url{https://github.com/QiaoXiao7282/hard_sample_learners}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google