A Multi-objective Complex Network Pruning Framework Based on Divide-and-conquer and Global Performance Impairment Ranking

要約

モデル圧縮は、ディープ ニューラル ネットワーク (DNN) の実際の展開において重要な役割を果たし、進化的多目的 (EMO) 枝刈りは、DNN の圧縮率とパフォーマンスのバランスを取る上で不可欠なツールです。
ただし、EMO プルーニングは人口ベースの性質のため、特に複雑なネットワークでは、複雑な最適化空間とリソースを大量に消費する構造検証プロセスに悩まされます。
この目的を達成するために、本論文では分割統治とグローバルパフォーマンス障害ランキング(EMO-DIR)に基づく多目的複雑ネットワーク枝刈りフレームワークを提案する。
まず、分割統治型 EMO ネットワーク プルーニング手法を提案します。これは、ネットワーク全体での EMO プルーニングの複雑なタスクを、複数のサブネットワーク上のより簡単なサブタスクに分解します。
一方で、この分解は枝刈りの最適化空間を狭め、最適化の難易度を下げます。
一方、ネットワーク構造が小さいほど収束が速くなるため、提案されたアルゴリズムの消費する計算リソースは少なくなります。
次に、ネットワーク間の制約に基づいたサブネットワーク トレーニング方法が設計されています。これにより、独立した EMO プルーニング サブタスクの橋渡しが可能になり、サブタスクの連携が向上し、プルーニングされたネットワークの全体的なパフォーマンスが向上します。
最後に,EMOに基づく複数のサブネットワーク結合枝刈り法を提案した。
この方法では、複数のサブネットワーク上の EMO プルーニング結果からのパレート フロントをグローバルなパフォーマンス障害ランキングを通じて組み合わせて、共同プルーニング スキームを設計します。
CIFAR-10/100とImageNet-100/1kに関する豊富な実験が行われています。
提案されたアルゴリズムは、最先端の枝刈り手法と同等のパフォーマンスを達成します。

要約(オリジナル)

Model compression plays a vital role in the practical deployment of deep neural networks (DNNs), and evolutionary multi-objective (EMO) pruning is an essential tool in balancing the compression rate and performance of the DNNs. However, due to its population-based nature, EMO pruning suffers from the complex optimization space and the resource-intensive structure verification process, especially in complex networks. To this end, a multi-objective complex network pruning framework based on divide-and-conquer and global performance impairment ranking (EMO-DIR) is proposed in this paper. Firstly, a divide-and-conquer EMO network pruning method is proposed, which decomposes the complex task of EMO pruning on the entire network into easier sub-tasks on multiple sub-networks. On the one hand, this decomposition narrows the pruning optimization space and decreases the optimization difficulty; on the other hand, the smaller network structure converges faster, so the proposed algorithm consumes lower computational resources. Secondly, a sub-network training method based on cross-network constraints is designed, which could bridge independent EMO pruning sub-tasks, allowing them to collaborate better and improving the overall performance of the pruned network. Finally, a multiple sub-networks joint pruning method based on EMO is proposed. This method combines the Pareto Fronts from EMO pruning results on multiple sub-networks through global performance impairment ranking to design a joint pruning scheme. The rich experiments on CIFAR-10/100 and ImageNet-100/1k are conducted. The proposed algorithm achieves a comparable performance with the state-of-the-art pruning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google