Model Pruning Based on Quantified Similarity of Feature Maps

要約

畳み込みニューラルネットワーク（CNN）は、多くのモノのインターネット（IoT）デバイスにおいて、様々なダウンストリームタスクに適用されています。しかし、エッジデバイスのデータ量が増加するにつれて、CNNは限られたコンピューティングとストレージのリソースでは時間内にいくつかのタスクを完了することが難しくなっています。近年、フィルタ刈り込みはCNNを圧縮・高速化する有効な手法とみなされているが、既存の手法では高次元のテンソルを圧縮する観点からCNNを刈り込むことはほとんどない。本論文では、3次元テンソル中の冗長情報を発見するための新しい理論、すなわちQuantified Similarity between Feature Maps (QSFM)を提案し、この理論をフィルタ刈り込み手順の指針として利用することを提案する。QSFMをデータセット(CIFAR-10, CIFAR-100, ILSVRC-12)とエッジデバイスに適用し、提案手法が同等の圧縮率と許容範囲の精度低下で効率的にニューラルネットワークの冗長情報を発見できることを実証する。QSFMは、微調整操作を行わずに、CIFAR-10上のResNet-56を大幅に圧縮し（48.7%のFLOPsと57.9%のパラメータを削減）、トップ1の精度を0.54%だけ低下させることができます。エッジデバイスの実用化に向けて、QSFMはMobileNet-V2の推論速度を1.53倍に高速化し、ILSVRC-12のトップ1精度を1.23%だけ低下させることが可能です。

要約(オリジナル)

Convolutional Neural Networks (CNNs) has been applied in numerous Internet of Things (IoT) devices for multifarious downstream tasks. However, with the increasing amount of data on edge devices, CNNs can hardly complete some tasks in time with limited computing and storage resources. Recently, filter pruning has been regarded as an effective technique to compress and accelerate CNNs, but existing methods rarely prune CNNs from the perspective of compressing high-dimensional tensors. In this paper, we propose a novel theory to find redundant information in three-dimensional tensors, namely Quantified Similarity between Feature Maps (QSFM), and utilize this theory to guide the filter pruning procedure. We perform QSFM on datasets (CIFAR-10, CIFAR-100 and ILSVRC-12) and edge devices, demonstrate that the proposed method can find the redundant information in the neural networks effectively with comparable compression and tolerable drop of accuracy. Without any fine-tuning operation, QSFM can compress ResNet-56 on CIFAR-10 significantly (48.7% FLOPs and 57.9% parameters are reduced) with only a loss of 0.54% in the top-1 accuracy. For the practical application of edge devices, QSFM can accelerate MobileNet-V2 inference speed by 1.53 times with only a loss of 1.23% in the ILSVRC-12 top-1 accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL