Asymptotic Soft Cluster Pruning for Deep Neural Networks

要約

フィルタの剪定方法は、選択したフィルタを削除することで構造的なスパース性を導入するため、複雑さを軽減するのに特に効果的です。
以前の作品は、より小さな基準でフィルターをかけることは最終結果にあまり貢献しないという観点から、経験的にネットワークを整理します。
ただし、このような基準はフィルターの分布に敏感であることが証明されており、剪定すると容量のギャップが固定されるため、精度を回復するのが難しい場合があります。
本論文では、フィルターの類似性に基づいてネットワークの冗長性を識別するために、漸近ソフトクラスタープルーニング（ASCP）と呼ばれる新しいフィルタープルーニング方法を提案します。
過剰にパラメータ化されたネットワークからの各フィルターは、最初にクラスタリングによって区別され、次に手動で冗長性を導入するために再構築されます。
特徴抽出能力をよりよく維持するために、クラスタリングのいくつかのガイドラインが提案されています。
再構成後、フィルターを更新して、誤って選択したことによる影響を排除することができます。
さらに、剪定プロセスを安定させ、最終的なパフォーマンスを向上させるために、剪定率のさまざまな減衰戦略が採用されています。
各クラスター内でより同一のフィルターを徐々に生成することにより、ASCPは、精度をほとんど低下させることなく、チャネル追加操作によってそれらを削除できます。
CIFAR-10およびImageNetデータセットでの広範な実験は、私たちの方法が多くの最先端のアルゴリズムと比較して競争力のある結果を達成できることを示しています。

要約(オリジナル)

Filter pruning method introduces structural sparsity by removing selected filters and is thus particularly effective for reducing complexity. Previous works empirically prune networks from the point of view that filter with smaller norm contributes less to the final results. However, such criteria has been proven sensitive to the distribution of filters, and the accuracy may hard to recover since the capacity gap is fixed once pruned. In this paper, we propose a novel filter pruning method called Asymptotic Soft Cluster Pruning (ASCP), to identify the redundancy of network based on the similarity of filters. Each filter from over-parameterized network is first distinguished by clustering, and then reconstructed to manually introduce redundancy into it. Several guidelines of clustering are proposed to better preserve feature extraction ability. After reconstruction, filters are allowed to be updated to eliminate the effect caused by mistakenly selected. Besides, various decaying strategies of the pruning rate are adopted to stabilize the pruning process and improve the final performance as well. By gradually generating more identical filters within each cluster, ASCP can remove them through channel addition operation with almost no accuracy drop. Extensive experiments on CIFAR-10 and ImageNet datasets show that our method can achieve competitive results compared with many state-of-the-art algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google