On Model Compression for Neural Networks: Framework, Algorithm, and Convergence Guarantee

要約

モデル圧縮は、特に多くのアプリケーションでコンピューティング デバイスのメモリとストレージが制限されている場合、ニューラル ネットワーク (NN) の展開において重要な部分です。
この論文では、ニューラル ネットワークにおける低ランク近似と重み枝刈りという 2 つのモデル圧縮手法に焦点を当てます。これらは、現在非常に人気があります。
ただし、低ランク近似と重み枝刈りを使用して NN をトレーニングすると、常に大幅な精度の低下と収束の問題が発生します。
この論文では、適切な目的関数を設計することにより、非凸最適化という新しい観点からモデル圧縮のための全体的なフレームワークを提案します。
次に、非凸最適化を解くためのブロック座標降下法 (BCD) アルゴリズムである NN-BCD を導入します。
私たちのアルゴリズムの利点の 1 つは、勾配のない閉形式で効率的な反復スキームを導出できることです。
したがって、私たちのアルゴリズムは勾配の消失/爆発の問題に悩まされることはありません。
さらに、目的関数の Kurdyka-{\L}ojasiewicz (K{\L}) 特性を使用して、アルゴリズムが O(1/k) のレートで臨界点にグローバルに収束することを示します。ここで、k は
反復回数。
最後に、テンソル列の分解と重み枝刈りに関する広範な実験により、提案されたフレームワークの効率と優れたパフォーマンスが実証されました。
コードの実装は https://github.com/ChenyangLi-97/NN-BCD で入手できます。

要約(オリジナル)

Model compression is a crucial part of deploying neural networks (NNs), especially when the memory and storage of computing devices are limited in many applications. This paper focuses on two model compression techniques: low-rank approximation and weight pruning in neural networks, which are very popular nowadays. However, training NN with low-rank approximation and weight pruning always suffers significant accuracy loss and convergence issues. In this paper, a holistic framework is proposed for model compression from a novel perspective of nonconvex optimization by designing an appropriate objective function. Then, we introduce NN-BCD, a block coordinate descent (BCD) algorithm to solve the nonconvex optimization. One advantage of our algorithm is that an efficient iteration scheme can be derived with closed-form, which is gradient-free. Therefore, our algorithm will not suffer from vanishing/exploding gradient problems. Furthermore, with the Kurdyka-{\L}ojasiewicz (K{\L}) property of our objective function, we show that our algorithm globally converges to a critical point at the rate of O(1/k), where k denotes the number of iterations. Lastly, extensive experiments with tensor train decomposition and weight pruning demonstrate the efficiency and superior performance of the proposed framework. Our code implementation is available at https://github.com/ChenyangLi-97/NN-BCD

arxiv情報

提供元, 利用サービス

arxiv.jp, Google