S2HPruner: Soft-to-Hard Distillation Bridges the Discretization Gap in Pruning

要約

最近、微分可能なマスク枝刈り手法により、優れたサブアーキテクチャ検索のために枝刈りされた離散ネットワーク (ハード ネットワーク) のプロキシとして連続緩和アーキテクチャ (ソフト ネットワーク) が最適化されています。
ただし、離散化プロセスの不可知論的な影響により、ハード ネットワークはソフト ネットワークと同等の表現能力、つまり離散化ギャップに苦戦し、枝刈りのパフォーマンスを大幅に損ないます。
この論文では、まず離散化ギャップを調査し、1 段階で離散化ギャップを埋めるための S2HPruner と呼ばれる新しい構造微分可能なマスク プルーニング フレームワークを提案します。
トレーニング手順では、SH2Pruner はソフト ネットワークとそれに対応するハード ネットワークの両方を転送し、ソフト ネットワークの監視下でハード ネットワークを抽出します。
マスクを最適化し、パフォーマンスの低下を防ぐために、分離された双方向の知識の蒸留を提案します。
マスクに対応する勾配を維持しながら、ハード ネットワークからソフト ネットワークへの重み更新をブロックします。
既存のプルーニング技術と比較して、S2HPruner は、CIFAR-100、Tiny ImageNet、さまざまなネットワーク アーキテクチャを備えた ImageNet などの包括的なベンチマークで微調整することなく、優れたプルーニング パフォーマンスを達成します。
さらに、調査と分析実験により、S2HPruner の有効性が説明されます。
コードは近日公開予定です。

要約(オリジナル)

Recently, differentiable mask pruning methods optimize the continuous relaxation architecture (soft network) as the proxy of the pruned discrete network (hard network) for superior sub-architecture search. However, due to the agnostic impact of the discretization process, the hard network struggles with the equivalent representational capacity as the soft network, namely discretization gap, which severely spoils the pruning performance. In this paper, we first investigate the discretization gap and propose a novel structural differentiable mask pruning framework named S2HPruner to bridge the discretization gap in a one-stage manner. In the training procedure, SH2Pruner forwards both the soft network and its corresponding hard network, then distills the hard network under the supervision of the soft network. To optimize the mask and prevent performance degradation, we propose a decoupled bidirectional knowledge distillation. It blocks the weight updating from the hard to the soft network while maintaining the gradient corresponding to the mask. Compared with existing pruning arts, S2HPruner achieves surpassing pruning performance without fine-tuning on comprehensive benchmarks, including CIFAR-100, Tiny ImageNet, and ImageNet with a variety of network architectures. Besides, investigation and analysis experiments explain the effectiveness of S2HPruner. Codes will be released soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google