OTOV2: Automatic, Generic, User-Friendly

要約

構造化プルーニングによる既存のモデル圧縮方法では、通常、複雑な多段階の手順が必要です。
個々の段階では、エンドユーザーによる多くのエンジニアリング作業とドメイン知識が必要となり、より広範なアプリケーションをより広範なシナリオに適用することが妨げられます。
私たちは、第 2 世代の Only-Train-Once (OTOv2) を提案します。これは、まず一般的な DNN を最初から 1 回だけ自動的にトレーニングして圧縮し、微調整を行わずに競争力のあるパフォーマンスを備えたよりコンパクトなモデルを生成します。
OTOv2 は自動であり、さまざまな深層学習アプリケーションにプラグイン可能であり、ユーザーのエンジニアリング作業はほぼ最小限で済みます。
方法論的に、OTOv2 は 2 つの主要な改善点を提案しています。(i) 自律性: 一般的な DNN の依存関係を自動的に利用し、トレーニング可能な変数をゼロ不変グループ (ZIG) に分割し、圧縮モデルを構築します。
(ii) Dual Half-Space Projected Gradient (DHSPG): 構造化されたスパース性の問題をより確実に解決するための新しいオプティマイザ。
VGG、ResNet、CARN、ConvNeXt、DenseNet、StackedUnets などのさまざまなモデル アーキテクチャ上で OTOv2 の汎用性と自律性を数値的に示しますが、その大部分は広範な手作りの努力がなければ他の方法では処理できません。
CIFAR10/100、DIV2K、Fashion-MNIST、SVNH、ImageNet などのベンチマーク データセットと併用すると、その有効性は、最先端のものと競合するか、それ以上のパフォーマンスを発揮することによって検証されます。
ソース コードは https://github.com/tianyic/only_train_once で入手できます。

要約(オリジナル)

The existing model compression methods via structured pruning typically require complicated multi-stage procedures. Each individual stage necessitates numerous engineering efforts and domain-knowledge from the end-users which prevent their wider applications onto broader scenarios. We propose the second generation of Only-Train-Once (OTOv2), which first automatically trains and compresses a general DNN only once from scratch to produce a more compact model with competitive performance without fine-tuning. OTOv2 is automatic and pluggable into various deep learning applications, and requires almost minimal engineering efforts from the users. Methodologically, OTOv2 proposes two major improvements: (i) Autonomy: automatically exploits the dependency of general DNNs, partitions the trainable variables into Zero-Invariant Groups (ZIGs), and constructs the compressed model; and (ii) Dual Half-Space Projected Gradient (DHSPG): a novel optimizer to more reliably solve structured-sparsity problems. Numerically, we demonstrate the generality and autonomy of OTOv2 on a variety of model architectures such as VGG, ResNet, CARN, ConvNeXt, DenseNet and StackedUnets, the majority of which cannot be handled by other methods without extensive handcrafting efforts. Together with benchmark datasets including CIFAR10/100, DIV2K, Fashion-MNIST, SVNH and ImageNet, its effectiveness is validated by performing competitively or even better than the state-of-the-arts. The source code is available at https://github.com/tianyic/only_train_once.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google