LEAN: graph-based pruning for convolutional neural networks by extracting longest chains

要約

ニューラルネットワークの剪定技術は、畳み込みニューラルネットワーク（CNN）を適用するための計算コストを大幅に削減できます。
一般的な剪定方法は、フィルターを個別にランク付けすることによって、つまり相互依存性を考慮せずに、削除する畳み込みフィルターを決定します。
この論文では、剪定は一連の連続する演算子間の相互依存性を考慮すべきであるという観点を提唱します。
グラフベースのアルゴリズムを使用して関連する畳み込みのチェーンを選択することにより、CNNを整理するLongEst-chAiN（LEAN）メソッドを提案します。
CNNはグラフとして解釈され、各演算子の演算子ノルムがエッジの距離メトリックとして解釈されます。
LEANプルーニングは、グラフから最も高い値のパスを繰り返し抽出して保持します。
私たちの実験では、よく知られているCamVidデータセットや実際のX線CTデータセットなど、いくつかの画像間タスクでLEAN剪定をテストします。
結果は、LEANプルーニングにより、既存のアプローチよりも1.7〜12倍少ない畳み込みフィルターを使用しながら、同様の精度のネットワークが得られることを示しています。

要約(オリジナル)

Neural network pruning techniques can substantially reduce the computational cost of applying convolutional neural networks (CNNs). Common pruning methods determine which convolutional filters to remove by ranking the filters individually, i.e., without taking into account their interdependence. In this paper, we advocate the viewpoint that pruning should consider the interdependence between series of consecutive operators. We propose the LongEst-chAiN (LEAN) method that prunes CNNs by using graph-based algorithms to select relevant chains of convolutions. A CNN is interpreted as a graph, with the operator norm of each operator as distance metric for the edges. LEAN pruning iteratively extracts the highest value path from the graph to keep. In our experiments, we test LEAN pruning on several image-to-image tasks, including the well-known CamVid dataset, and a real-world X-ray CT dataset. Results indicate that LEAN pruning can result in networks with similar accuracy, while using 1.7-12x fewer convolutional filters than existing approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google