A One-Shot Reparameterization Method for Reducing the Loss of Tile Pruning on DNNs

要約

最近、ディープ ニューラル ネットワーク (DNN) の推論を加速するために、タイルの刈り込みが広く研究されています。
ただし、重要な要素と重要でない要素を一緒に削除できるタイルの刈り込みによる損失は、トレーニング済みの DNN で大きいことがわかりました。
この研究では、TileTrans と呼ばれるワンショットの再パラメータ化方法を提案して、タイルの刈り込みの損失を減らします。
具体的には、再パラメータ化後にモデル アーキテクチャを変更しないように、重み行列の行または列を再配置します。
この再置換により、再トレーニングなしで DNN モデルの再パラメーター化が実現します。
提案された再パラメータ化方法は、重要な要素を同じタイルに結合します。
したがって、タイルの剪定後も重要な要素を保持します。
さらに、TileTrans は、ほとんどの既存の方法と直交する、枝刈りの前に実行される前処理方法であるため、既存のタイル枝刈り方法にシームレスに統合できます。
実験結果は、DNN でのタイルの剪定の損失を減らすために、私たちの方法が不可欠であることを示しています。
具体的には、両方のモデルが ImageNet で事前トレーニングされている場合、精度は AlexNet で最大 17% 向上し、ResNet-34 では 5% 向上します。

要約(オリジナル)

Recently, tile pruning has been widely studied to accelerate the inference of deep neural networks (DNNs). However, we found that the loss due to tile pruning, which can eliminate important elements together with unimportant elements, is large on trained DNNs. In this study, we propose a one-shot reparameterization method, called TileTrans, to reduce the loss of tile pruning. Specifically, we repermute the rows or columns of the weight matrix such that the model architecture can be kept unchanged after reparameterization. This repermutation realizes the reparameterization of the DNN model without any retraining. The proposed reparameterization method combines important elements into the same tile; thus, preserving the important elements after the tile pruning. Furthermore, TileTrans can be seamlessly integrated into existing tile pruning methods because it is a pre-processing method executed before pruning, which is orthogonal to most existing methods. The experimental results demonstrate that our method is essential in reducing the loss of tile pruning on DNNs. Specifically, the accuracy is improved by up to 17% for AlexNet while 5% for ResNet-34, where both models are pre-trained on ImageNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google