Convolutional Neural Network Compression via Dynamic Parameter Rank Pruning

要約

畳み込みニューラル ネットワーク (CNN) は複雑な潜在空間表現の学習に優れていますが、過度のパラメータ化は、特に限られたデータの場合、過剰適合やパフォーマンスの低下につながる可能性があります。
これは、高い計算能力とメモリ要求に加えて、エッジ展開への CNN の適用性を制限します。
低ランク行列近似は、CNN パラメータを削減するための有望なアプローチとして浮上していますが、その適用にはランク選択やパフォーマンス損失などの課題があります。
これらの問題に対処するために、動的パラメータ ランク プルーニングによる CNN 圧縮の効率的なトレーニング方法を提案します。
私たちのアプローチは、効率的な行列因数分解と新しい正則化手法を統合し、動的なランク削減とモデル圧縮のための堅牢なフレームワークを形成します。
特異値分解 (SVD) を使用して低ランクの畳み込みフィルターと密な重み行列をモデル化し、エンドツーエンドの方法でバックプロパゲーションを使用して SVD 因子をトレーニングすることでモデル圧縮を実現します。
ResNet-18、ResNet-20、ResNet-32 などの最新の CNN と、CIFAR-10、CIFAR-100、ImageNet (2012) などのデータセットでメソッドを評価し、コンピューター ビジョンへの適用性を示します。
私たちの実験では、提案された方法により、分類パフォーマンスを維持または向上させながら、ストレージを大幅に節約できることがわかりました。

要約(オリジナル)

While Convolutional Neural Networks (CNNs) excel at learning complex latent-space representations, their over-parameterization can lead to overfitting and reduced performance, particularly with limited data. This, alongside their high computational and memory demands, limits the applicability of CNNs for edge deployment. Low-rank matrix approximation has emerged as a promising approach to reduce CNN parameters, but its application presents challenges including rank selection and performance loss. To address these issues, we propose an efficient training method for CNN compression via dynamic parameter rank pruning. Our approach integrates efficient matrix factorization and novel regularization techniques, forming a robust framework for dynamic rank reduction and model compression. We use Singular Value Decomposition (SVD) to model low-rank convolutional filters and dense weight matrices and we achieve model compression by training the SVD factors with back-propagation in an end-to-end way. We evaluate our method on an array of modern CNNs, including ResNet-18, ResNet-20, and ResNet-32, and datasets like CIFAR-10, CIFAR-100, and ImageNet (2012), showcasing its applicability in computer vision. Our experiments show that the proposed method can yield substantial storage savings while maintaining or even enhancing classification performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google