LayerMerge: Neural Network Depth Compression through Layer Pruning and Merging

要約

最近の研究では、畳み込みニューラル ネットワークの層の数を減らすと、ネットワークのパフォーマンスを維持しながら効率を向上できることが示されています。
既存の深さ圧縮方法は、冗長な非線形活性化関数を削除し、連続する畳み込み層を 1 つの層にマージします。
ただし、これらの方法には重大な欠点があります。
マージされたレイヤーのカーネル サイズが大きくなり、ネットワークの深さを減らすことで得られるレイテンシの削減が大幅に損なわれます。
畳み込み層と活性化関数を一緒に枝刈りすることで、この問題に対処できることを示します。
この目的を達成するために、パフォーマンスの損失を最小限に抑えながら望ましい推論の高速化を達成するために、削除する活性化層と畳み込み層を選択する新しい深さ圧縮方法である LayerMerge を提案します。
対応する選択問題には指数関数的な探索空間が含まれるため、新しい代理最適化問題を定式化し、動的計画法によって効率的に解決します。
経験的な結果は、私たちの方法が、画像分類と生成タスクの両方において、さまざまなネットワークアーキテクチャ上で既存の深度圧縮およびレイヤープルーニング方法よりも一貫して優れていることを示しています。
コードは https://github.com/snu-mllab/LayerMerge でリリースされます。

要約(オリジナル)

Recent works show that reducing the number of layers in a convolutional neural network can enhance efficiency while maintaining the performance of the network. Existing depth compression methods remove redundant non-linear activation functions and merge the consecutive convolution layers into a single layer. However, these methods suffer from a critical drawback; the kernel size of the merged layers becomes larger, significantly undermining the latency reduction gained from reducing the depth of the network. We show that this problem can be addressed by jointly pruning convolution layers and activation functions. To this end, we propose LayerMerge, a novel depth compression method that selects which activation layers and convolution layers to remove, to achieve a desired inference speed-up while minimizing performance loss. Since the corresponding selection problem involves an exponential search space, we formulate a novel surrogate optimization problem and efficiently solve it via dynamic programming. Empirical results demonstrate that our method consistently outperforms existing depth compression and layer pruning methods on various network architectures, both on image classification and generation tasks. We release the code at https://github.com/snu-mllab/LayerMerge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google