Rewarded meta-pruning: Meta Learning with Rewards for Channel Pruning

要約

畳み込みニューラル ネットワーク (CNN) には多数のパラメーターがあり、計算に非常に大きなハードウェア リソースを必要とするため、エッジ デバイスは高レベルのネットワークを実行するのに苦労しています。
この論文では、深層学習モデルの計算効率のためにパラメーターと FLOP を削減する新しい方法を提案します。
ネットワークの精度とその計算効率の間のトレードオフを制御するために、精度と効率の係数を導入します。
提案された Rewarded meta-pruning アルゴリズムは、ネットワークをトレーニングして、報酬関数を使用して相互作用を制御することにより、最終モデルの近似パラメーターに基づいて選択されたプルーニングされたモデルの重みを生成します。
報酬関数を使用すると、最終的に枝刈りされたモデルのメトリックをより細かく制御できます。
ResNet-50、MobileNetV1、および MobileNetV2 ネットワークのプルーニングにおいて、提案された方法が最先端の方法よりも優れたパフォーマンスを発揮することが、広範な実験によって実証されています。

要約(オリジナル)

Convolutional Neural Networks (CNNs) have a large number of parameters and take significantly large hardware resources to compute, so edge devices struggle to run high-level networks. This paper proposes a novel method to reduce the parameters and FLOPs for computational efficiency in deep learning models. We introduce accuracy and efficiency coefficients to control the trade-off between the accuracy of the network and its computing efficiency. The proposed Rewarded meta-pruning algorithm trains a network to generate weights for a pruned model chosen based on the approximate parameters of the final model by controlling the interactions using a reward function. The reward function allows more control over the metrics of the final pruned model. Extensive experiments demonstrate superior performances of the proposed method over the state-of-the-art methods in pruning ResNet-50, MobileNetV1, and MobileNetV2 networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google