Deep Neural Networks pruning via the Structured Perspective Regularization

要約

機械学習では、人工ニューラルネットワーク（ANN）は非常に強力なツールであり、多くのアプリケーションで広く使用されています。
多くの場合、選択された（深い）アーキテクチャには多くのレイヤーが含まれているため、大量のパラメーターが含まれているため、トレーニング、ストレージ、推論にコストがかかります。
これにより、パフォーマンスを過度に犠牲にすることなく、元のネットワークをより小さなネットワークに圧縮することに関する一連の研究が動機付けられました。
提案されている多くの圧縮アプローチの中で、最も人気のあるものの1つは\ emph {pruning}です。これにより、ANNの要素全体（リンク、ノード、チャネル、\ ldots）と対応する重みが削除されます。
問題の性質は本質的に組み合わせ（どの要素を剪定するか、何をしないか）であるため、オペレーションズリサーチツールに基づく新しい剪定方法を提案します。
問題の自然な混合整数計画モデルから始め、パースペクティブ再定式化手法を使用してその継続的な緩和を強化します。
この再定式化から指標変数を投影すると、新しい正則化項が生成されます。これは、構造化パースペクティブ正則化と呼ばれ、初期アーキテクチャの構造化された剪定につながります。
CIFAR-10、CIFAR-100、およびImageNetデータセットに適用されたいくつかのResNetアーキテクチャでメソッドをテストし、構造化された剪定の最先端で競争力のあるパフォーマンスを取得します。

要約(オリジナル)

In Machine Learning, Artificial Neural Networks (ANNs) are a very powerful tool, broadly used in many applications. Often, the selected (deep) architectures include many layers, and therefore a large amount of parameters, which makes training, storage and inference expensive. This motivated a stream of research about compressing the original networks into smaller ones without excessively sacrificing performances. Among the many proposed compression approaches, one of the most popular is \emph{pruning}, whereby entire elements of the ANN (links, nodes, channels, \ldots) and the corresponding weights are deleted. Since the nature of the problem is inherently combinatorial (what elements to prune and what not), we propose a new pruning method based on Operational Research tools. We start from a natural Mixed-Integer-Programming model for the problem, and we use the Perspective Reformulation technique to strengthen its continuous relaxation. Projecting away the indicator variables from this reformulation yields a new regularization term, which we call the Structured Perspective Regularization, that leads to structured pruning of the initial architecture. We test our method on some ResNet architectures applied to CIFAR-10, CIFAR-100 and ImageNet datasets, obtaining competitive performances w.r.t.~the state of the art for structured pruning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google