Lossy and Lossless (L$^2$) Post-training Model Size Compression

要約

ディープ ニューラル ネットワークは優れたパフォーマンスを実現し、さまざまな視覚的なタスクに広く使用されています。
ただし、サイズが大きいため、送信や保存に大きな不便が生じます。
これまでの多くの研究では、モデル サイズの圧縮が検討されてきました。
ただし、これらの研究では、さまざまな非可逆圧縮方法と可逆圧縮方法を個別にアプローチすることが多く、高い圧縮率を効率的に達成する際に課題が生じます。
この研究では、非可逆圧縮と可逆圧縮を統合した方法で組み合わせた、トレーニング後のモデル サイズ圧縮方法を提案しています。
まず、統合されたパラメトリック重み変換を提案します。これにより、トレーニング後の方法でさまざまな非可逆圧縮方法を組み合わせて実行できるようになります。
次に、専用の微分可能なカウンターが導入され、非可逆圧縮の最適化をガイドし、後の可逆圧縮により適したポイントに到達します。
さらに、私たちの方法は、必要なグローバル圧縮率を簡単に制御し、さまざまなレイヤーに適応率を割り当てることができます。
最後に、私たちの方法では、精度を犠牲にすることなく安定した $10\times$ の圧縮率を達成でき、短時間でわずかな精度の損失で $20\times$ の圧縮率を達成できます。
私たちのコードは https://github.com/ModelTC/L2_Compression で入手できます。

要約(オリジナル)

Deep neural networks have delivered remarkable performance and have been widely used in various visual tasks. However, their huge size causes significant inconvenience for transmission and storage. Many previous studies have explored model size compression. However, these studies often approach various lossy and lossless compression methods in isolation, leading to challenges in achieving high compression ratios efficiently. This work proposes a post-training model size compression method that combines lossy and lossless compression in a unified way. We first propose a unified parametric weight transformation, which ensures different lossy compression methods can be performed jointly in a post-training manner. Then, a dedicated differentiable counter is introduced to guide the optimization of lossy compression to arrive at a more suitable point for later lossless compression. Additionally, our method can easily control a desired global compression ratio and allocate adaptive ratios for different layers. Finally, our method can achieve a stable $10\times$ compression ratio without sacrificing accuracy and a $20\times$ compression ratio with minor accuracy loss in a short time. Our code is available at https://github.com/ModelTC/L2_Compression .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google