A Generalization of Continuous Relaxation in Structured Pruning

要約

ディープ ラーニングは、大規模な並列浮動小数点処理を利用して、大規模なニューラル ネットワークをトレーニングおよび評価します。
傾向としては、パラメーターの数が増加した、より深く大規模なニューラル ネットワークが、より小規模なニューラル ネットワークよりも高い精度を達成することが示されています。
このパフォーマンスの向上は、多くの場合、トレーニングと評価の両方で大量のコンピューティングを必要とし、実用的な価値を得るには、最終的にはリソースに制約のあるハードウェアにうまく変換する必要があります。
構造化枝刈りは、大規模なネットワークによって複雑なコンピューター ビジョンの問題に対する解決策を見つけることができる一方で、モデルの精度を維持しながら計算効率を大幅に向上させる、より小規模で計算効率の高いサブネットワークを大規模なニューラル ネットワークから導き出すことができると主張します。
ネットワークの拡張、枝刈り、サブネットワークの崩壊および削除のためのアルゴリズムを使用して、構造化枝刈りを一般化します。
さらに、すべての構造化枝刈り手法の最先端技術と一致するか、それを超える連続緩和を使用して、推論精度を損なうことなく、最大 93% のスパース性と 95% の FLOP 削減の効率的で安定した収束を実証します。
結果として得られる CNN は、計算コストのかかる疎行列演算を行わずに、GPU ハードウェア上で効率的に実行されます。
これは、CIFAR-10、ImageNet、CityScapes データセットと ResNet および U-NET ネットワーク アーキテクチャを使用して、分類とセグメンテーションの問題に対する日常的な自動化可能な操作によって実現されます。

要約(オリジナル)

Deep learning harnesses massive parallel floating-point processing to train and evaluate large neural networks. Trends indicate that deeper and larger neural networks with an increasing number of parameters achieve higher accuracy than smaller neural networks. This performance improvement, which often requires heavy compute for both training and evaluation, eventually needs to translate well to resource-constrained hardware for practical value. Structured pruning asserts that while large networks enable us to find solutions to complex computer vision problems, a smaller, computationally efficient sub-network can be derived from the large neural network that retains model accuracy but significantly improves computational efficiency. We generalize structured pruning with algorithms for network augmentation, pruning, sub-network collapse and removal. In addition, we demonstrate efficient and stable convergence up to 93% sparsity and 95% FLOPs reduction without loss of inference accuracy using with continuous relaxation matching or exceeding the state of the art for all structured pruning methods. The resulting CNN executes efficiently on GPU hardware without computationally expensive sparse matrix operations. We achieve this with routine automatable operations on classification and segmentation problems using CIFAR-10, ImageNet, and CityScapes datasets with the ResNet and U-NET network architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google