Preserving Deep Representations In One-Shot Pruning: A Hessian-Free Second-Order Optimization Framework

要約

我々は、再トレーニングを行わずにビジョンネットワーク推論のコストを削減することを目的とした、ワンショットのトレーニング後の枝刈りフレームワークである SNOWS を紹介します。
現在の主要なワンショット プルーニング手法では、より深いネットワーク表現が考慮されていない、層ごとの最小二乗再構成誤差が最小限に抑えられます。
私たちは、よりグローバルな復興目標を最適化することを提案します。
この目的は、ネットワーク損失に対するより適切なプロキシを取得するための、ネットワーク深部の非線形アクティベーションを考慮しています。
この非線形目標は、より困難な最適化問題を引き起こします。私たちは、特殊な 2 次最適化フレームワークを使用して、この問題を効率的に解決できることを実証しました。
私たちのフレームワークの重要な革新は、完全なヘシアン行列を計算したり保存したりする必要なく、正確なニュートン降下ステップを計算するためのヘシアンフリー最適化の使用です。
SNOWS の明確な利点は、従来の方法で得られたスパース マスクの上に簡単に適用でき、重みを再調整して深い特徴表現の非線形性を利用できることです。
SNOWS は、残差ネットワークやビジョン トランスフォーマー (ViT/B-16 と ViT/L-16、それぞれ 86m と 304m パラメーター) を含むさまざまなワンショット プルーニング ベンチマークで最先端の結果を取得します。

要約(オリジナル)

We present SNOWS, a one-shot post-training pruning framework aimed at reducing the cost of vision network inference without retraining. Current leading one-shot pruning methods minimize layer-wise least squares reconstruction error which does not take into account deeper network representations. We propose to optimize a more global reconstruction objective. This objective accounts for nonlinear activations deep in the network to obtain a better proxy for the network loss. This nonlinear objective leads to a more challenging optimization problem — we demonstrate it can be solved efficiently using a specialized second-order optimization framework. A key innovation of our framework is the use of Hessian-free optimization to compute exact Newton descent steps without needing to compute or store the full Hessian matrix. A distinct advantage of SNOWS is that it can be readily applied on top of any sparse mask derived from prior methods, readjusting their weights to exploit nonlinearities in deep feature representations. SNOWS obtains state-of-the-art results on various one-shot pruning benchmarks including residual networks and Vision Transformers (ViT/B-16 and ViT/L-16, 86m and 304m parameters respectively).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google