Neural Architecture Transfer 2: A Paradigm for Improving Efficiency in Multi-Objective Neural Architecture Search

要約

ディープラーニングは現代社会のさまざまな側面にますます影響を与えています。
人工ニューラル ネットワークは、拡大する範囲のタスクを解決するための主要なモデルとして台頭しています。
タスク最適化ネットワークの自動設計を可能にするニューラル アーキテクチャ検索 (NAS) 技術の導入により、目覚ましい進歩が見られました。
ただし、NAS プロセスは通常、長い実行時間と大量の計算リソース要件を伴います。
Once-For-All (OFA) とその後継である Once-For-All-2 (OFAv2) は、これらの課題を軽減するために開発されました。
彼らは、優れたパフォーマンスを維持し、再トレーニングの必要性を排除しながら、さまざまな制約を満たすサブネットワークを直接抽出できる単一のスーパーネットワーク モデルを構築することを目指しています。
Neural Architecture Transfer (NAT) は、スーパーネットワークからサブネットワークを抽出する効率を最大化するために開発されました。
この文書では、動的スーパーネットワーク アーキテクチャに適用される多目的検索アルゴリズムを改善する NAT の拡張である NATv2 について説明します。
NATv2 は、OFAv2 によって生成された改良されたスーパー ネットワークを活用し、そのネットワーク アーカイブの初期化、前処理、および更新のための新しいポリシーを組み込むことにより、抽出可能なサブネットワークの質的向上を実現します。
さらに、微調整に基づく後処理パイプラインが導入されています。
実験結果によると、NATv2 は NAT を改善することに成功しており、最小限のパラメータで高性能のアーキテクチャを調査する場合には、NATv2 を強く推奨します。

要約(オリジナル)

Deep learning is increasingly impacting various aspects of contemporary society. Artificial neural networks have emerged as the dominant models for solving an expanding range of tasks. The introduction of Neural Architecture Search (NAS) techniques, which enable the automatic design of task-optimal networks, has led to remarkable advances. However, the NAS process is typically associated with long execution times and significant computational resource requirements. Once-For-All (OFA) and its successor, Once-For-All-2 (OFAv2), have been developed to mitigate these challenges. While maintaining exceptional performance and eliminating the need for retraining, they aim to build a single super-network model capable of directly extracting sub-networks satisfying different constraints. Neural Architecture Transfer (NAT) was developed to maximise the effectiveness of extracting sub-networks from a super-network. In this paper, we present NATv2, an extension of NAT that improves multi-objective search algorithms applied to dynamic super-network architectures. NATv2 achieves qualitative improvements in the extractable sub-networks by exploiting the improved super-networks generated by OFAv2 and incorporating new policies for initialisation, pre-processing and updating its networks archive. In addition, a post-processing pipeline based on fine-tuning is introduced. Experimental results show that NATv2 successfully improves NAT and is highly recommended for investigating high-performance architectures with a minimal number of parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google