Multi-conditioned Graph Diffusion for Neural Architecture Search

要約

ニューラル アーキテクチャ検索は、通常、大規模で複雑なアーキテクチャ検索空間を探索することによって、ニューラル ネットワーク アーキテクチャの設計を自動化します。
アーキテクチャの探索を進めるために、離散条件付きグラフ拡散プロセスを使用して高性能ニューラル ネットワーク アーキテクチャを生成する、グラフ拡散ベースの NAS アプローチを紹介します。
次に、高精度や低ハードウェア遅延などの制約を共同で課すために、グラフ拡散ネットワークに適用される複数条件の分類器を使用しないガイダンス アプローチを提案します。
関連する研究とは異なり、私たちの方法は完全に微分可能であり、単一のモデルのトレーニングのみが必要です。
私たちの評価では、6 つの標準ベンチマークで有望な結果が得られ、新規でユニークなアーキテクチャが高速 (アーキテクチャあたり 0.2 秒未満) で得られることがわかりました。
さらに、ImageNet データセットの実験を通じて、この方法の一般化可能性と効率性を実証します。

要約(オリジナル)

Neural architecture search automates the design of neural network architectures usually by exploring a large and thus complex architecture search space. To advance the architecture search, we present a graph diffusion-based NAS approach that uses discrete conditional graph diffusion processes to generate high-performing neural network architectures. We then propose a multi-conditioned classifier-free guidance approach applied to graph diffusion networks to jointly impose constraints such as high accuracy and low hardware latency. Unlike the related work, our method is completely differentiable and requires only a single model training. In our evaluations, we show promising results on six standard benchmarks, yielding novel and unique architectures at a fast speed, i.e. less than 0.2 seconds per architecture. Furthermore, we demonstrate the generalisability and efficiency of our method through experiments on ImageNet dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google