Joint Matrix Decomposition for Deep Convolutional Neural Networks Compression

要約

多数のパラメーターを持つディープ畳み込みニューラル ネットワーク (CNN) は、集中的な計算リソースを必要とするため、リソースに制約のあるプラットフォームに展開するのは困難です。
したがって、分解ベースの方法は、近年、CNN を圧縮するために利用されています。
ただし、圧縮係数とパフォーマンスは負の相関関係にあるため、最先端の作品はパフォーマンスが大幅に低下するか、圧縮係数が比較的低くなります。
この問題を克服するために、レイヤーを個別に圧縮する既存の研究とは異なり、CNN を圧縮し、結合行列分解によってパフォーマンスの低下を軽減することを提案します。
このアイデアは、CNN に多数の反復モジュールがあるという事実に着想を得ています。
同じ構造を持つ重みを同じ部分空間に射影することにより、ネットワークをより大きなランクでまとめて圧縮できます。
特に、3 つの結合行列分解スキームが開発され、特異値分解に基づく対応する最適化アプローチが提案されています。
提案されたアルゴリズムの優れたパフォーマンスを実証するために、さまざまなベンチマーク データ セットに対して 3 つの挑戦的なコンパクト CNN にわたって広範な実験が行われます。
その結果、私たちの方法は、ResNet-34 のサイズを 22 倍に圧縮できますが、いくつかの最先端の方法と比較して精度の低下はわずかです。

要約(オリジナル)

Deep convolutional neural networks (CNNs) with a large number of parameters require intensive computational resources, and thus are hard to be deployed in resource-constrained platforms. Decomposition-based methods, therefore, have been utilized to compress CNNs in recent years. However, since the compression factor and performance are negatively correlated, the state-of-the-art works either suffer from severe performance degradation or have relatively low compression factors. To overcome this problem, we propose to compress CNNs and alleviate performance degradation via joint matrix decomposition, which is different from existing works that compressed layers separately. The idea is inspired by the fact that there are lots of repeated modules in CNNs. By projecting weights with the same structures into the same subspace, networks can be jointly compressed with larger ranks. In particular, three joint matrix decomposition schemes are developed, and the corresponding optimization approaches based on Singular Value Decomposition are proposed. Extensive experiments are conducted across three challenging compact CNNs for different benchmark data sets to demonstrate the superior performance of our proposed algorithms. As a result, our methods can compress the size of ResNet-34 by 22X with slighter accuracy degradation compared with several state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google