Robust Neural Pruning with Gradient Sampling Optimization for Residual Neural Networks

要約

この研究では、StochGradAdam と同様の勾配サンプリング技術を枝刈りプロセス中に適用することに焦点を当て、ニューラル ネットワーク最適化のための革新的なアプローチを探ります。
私たちの主な目的は、リソースが限られたシナリオでは重要な課題である、プルーニングされたモデルで高い精度レベルを維持することです。
私たちの広範な実験により、勾配サンプリング手法で最適化されたモデルは、従来の最適化手法を使用したモデルと比較して、枝刈り中の精度の維持においてより効果的であることが明らかになりました。
この発見は、堅牢な学習を促進し、複雑さが大幅に軽減された後でもネットワークが重要な情報を保持できるようにする上で、勾配サンプリングの重要性を強調しています。
私たちはさまざまなデータセットとニューラル アーキテクチャにわたってアプローチを検証し、その幅広い適用性と有効性を実証します。
この論文では理論的な側面も掘り下げて、勾配サンプリング技術が枝刈り中のモデルの堅牢性にどのように寄与するかを説明しています。
私たちの結果は、計算リソースが限られた環境であっても、精度を犠牲にしない効率的なニューラル ネットワークを作成するための有望な方向性を示唆しています。

要約(オリジナル)

In this study, we explore an innovative approach for neural network optimization, focusing on the application of gradient sampling techniques, similar to those in StochGradAdam, during the pruning process. Our primary objective is to maintain high accuracy levels in pruned models, a critical challenge in resource-limited scenarios. Our extensive experiments reveal that models optimized with gradient sampling techniques are more effective at preserving accuracy during pruning compared to those using traditional optimization methods. This finding underscores the significance of gradient sampling in facilitating robust learning and enabling networks to retain crucial information even after substantial reduction in their complexity. We validate our approach across various datasets and neural architectures, demonstrating its broad applicability and effectiveness. The paper also delves into the theoretical aspects, explaining how gradient sampling techniques contribute to the robustness of models during pruning. Our results suggest a promising direction for creating efficient neural networks that do not compromise on accuracy, even in environments with constrained computational resources.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google