DiffusionNAG: Predictor-guided Neural Architecture Generation with Diffusion Models

要約

既存の NAS 手法は、繰り返しのサンプリングや、タスクに関係のない多くのアーキテクチャのトレーニングに過剰な時間がかかるという問題があります。
既存の NAS 手法のこのような制限に取り組むために、我々は、NAS から DiffusionNAG と呼ばれる、拡散モデルに基づく新しい条件付きニューラル アーキテクチャ生成 (NAG) フレームワークへのパラダイム シフトを提案します。
具体的には、ニューラルアーキテクチャを有向グラフとみなして、それらを生成するためのグラフ拡散モデルを提案します。
さらに、DiffusionNAG は、パラメーター化された予測子のガイダンスにより、特性を満たす可能性がより高い領域からサンプリングすることで、さまざまなタスクに必要な特性を備えたタスク最適化アーキテクチャを柔軟に生成できます。
この条件付き NAG スキームは、アーキテクチャをサンプリングし、プロパティ予測子を使用してフィルタリングする以前の NAS スキームよりも大幅に効率的です。
私たちは、転送可能な NAS とベイジアン最適化 (BO) ベースの NAS という 2 つの予測ベースの NAS シナリオにおける広範な実験を通じて、DiffusionNAG の有効性を検証します。
DiffusionNAG は、Transferable NAS ベンチマークのベースラインと比較して最大 20 倍の高速化により優れたパフォーマンスを実現します。
さらに、DiffusionNAG を BO ベースのアルゴリズムに統合すると、特に ImageNet 1K データセット上の大規模な MobileNetV3 検索空間において、既存の BO ベースの NAS アプローチよりも優れたパフォーマンスを発揮します。

要約(オリジナル)

Existing NAS methods suffer from either an excessive amount of time for repetitive sampling and training of many task-irrelevant architectures. To tackle such limitations of existing NAS methods, we propose a paradigm shift from NAS to a novel conditional Neural Architecture Generation (NAG) framework based on diffusion models, dubbed DiffusionNAG. Specifically, we consider the neural architectures as directed graphs and propose a graph diffusion model for generating them. Moreover, with the guidance of parameterized predictors, DiffusionNAG can flexibly generate task-optimal architectures with the desired properties for diverse tasks, by sampling from a region that is more likely to satisfy the properties. This conditional NAG scheme is significantly more efficient than previous NAS schemes which sample the architectures and filter them using the property predictors. We validate the effectiveness of DiffusionNAG through extensive experiments in two predictor-based NAS scenarios: Transferable NAS and Bayesian Optimization (BO)-based NAS. DiffusionNAG achieves superior performance with speedups of up to 20 times when compared to the baselines on Transferable NAS benchmarks. Furthermore, when integrated into a BO-based algorithm, DiffusionNAG outperforms existing BO-based NAS approaches, particularly in the large MobileNetV3 search space on the ImageNet 1K dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google