Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization

要約

ニューラルアーキテクチャ検索（NAS）とネットワークプルーニングは、効率的なAI技術として広く研究されていますが、まだ完全ではありません。
NASは徹底的な候補アーキテクチャ検索を実行し、莫大な検索コストを負担します。
（構造化された）剪定はモデルの次元を単純に縮小することができますが、レイヤーごとのスパース性を自動的かつ最適に決定する方法は依然として不明です。
この作業では、レイヤー幅の最適化の問題を再検討し、目的のサブネットワークを自動的かつ効率的に検索するためのエンドツーエンドのチャネルプルーニング方法であるPruning-as-Search（PaS）を提案します。
具体的には、最急降下法を介して剪定ポリシーを直接学習するために、深さ方向のバイナリ畳み込みを追加します。
構造の再パラメータ化とPaSを組み合わせることにより、VGGのような軽量ネットワークの新しいファミリを検索することに成功しました。これにより、各ステージではなく、各レイヤーに対して任意の幅の柔軟性が可能になります。
実験結果は、ImageNet-1000分類タスクでの同様の推論速度の下で、提案されたアーキテクチャが従来技術よりも約$ 1.0 \％$トップ1の精度で優れていることを示しています。
さらに、インスタンスのセグメンテーションや画像の変換などの複雑なタスクでの幅検索の有効性を示します。
コードとモデルがリリースされました。

要約(オリジナル)

Neural architecture search (NAS) and network pruning are widely studied efficient AI techniques, but not yet perfect. NAS performs exhaustive candidate architecture search, incurring tremendous search cost. Though (structured) pruning can simply shrink model dimension, it remains unclear how to decide the per-layer sparsity automatically and optimally. In this work, we revisit the problem of layer-width optimization and propose Pruning-as-Search (PaS), an end-to-end channel pruning method to search out desired sub-network automatically and efficiently. Specifically, we add a depth-wise binary convolution to learn pruning policies directly through gradient descent. By combining the structural reparameterization and PaS, we successfully searched out a new family of VGG-like and lightweight networks, which enable the flexibility of arbitrary width with respect to each layer instead of each stage. Experimental results show that our proposed architecture outperforms prior arts by around $1.0\%$ top-1 accuracy under similar inference speed on ImageNet-1000 classification task. Furthermore, we demonstrate the effectiveness of our width search on complex tasks including instance segmentation and image translation. Code and models are released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google