Evolution Meets Diffusion: Efficient Neural Architecture Generation

要約

ニューラルアーキテクチャ検索（NAS）は、ディープラーニングモデルの設計におけるその変革の可能性について、広範囲にわたる注目を集めています。
ただし、NASの広大で複雑な検索スペースは、大幅な計算コストと時間コストにつながります。
Neural Architecture Generation（NAG）は、NASを世代の問題として再構成することにより、これに対処し、特定のタスクに最適なアーキテクチャの正確な生成を可能にします。
その約束にもかかわらず、拡散モデルのような主流の方法は、グローバルな検索機能の制限に直面しており、高い計算と時間の需要によって妨げられています。
これらの課題を克服するために、効率的かつトレーニングのないアーキテクチャ生成を達成する新しいアプローチである進化的拡散ベースの神経建築生成（EDNAG）を提案します。
EDNAGは、進化的アルゴリズムを活用して、拡散モデルの除去プロセスをシミュレートし、フィットネスを使用してランダムガウス分布から最適なアーキテクチャ分布への移行を導きます。
このアプローチは、進化戦略と拡散モデルの強みを組み合わせて、迅速かつ効果的なアーキテクチャ生成を可能にします。
広範な実験は、EDNAGがアーキテクチャの最適化において最先端の（SOTA）パフォーマンスを達成し、最大10.45％の精度を改善することを示しています。
さらに、時間のかかるトレーニングの必要性を排除し、推論の速度を平均50倍引き上げ、その並外れた効率と有効性を示します。

要約(オリジナル)

Neural Architecture Search (NAS) has gained widespread attention for its transformative potential in deep learning model design. However, the vast and complex search space of NAS leads to significant computational and time costs. Neural Architecture Generation (NAG) addresses this by reframing NAS as a generation problem, enabling the precise generation of optimal architectures for specific tasks. Despite its promise, mainstream methods like diffusion models face limitations in global search capabilities and are still hindered by high computational and time demands. To overcome these challenges, we propose Evolutionary Diffusion-based Neural Architecture Generation (EDNAG), a novel approach that achieves efficient and training-free architecture generation. EDNAG leverages evolutionary algorithms to simulate the denoising process in diffusion models, using fitness to guide the transition from random Gaussian distributions to optimal architecture distributions. This approach combines the strengths of evolutionary strategies and diffusion models, enabling rapid and effective architecture generation. Extensive experiments demonstrate that EDNAG achieves state-of-the-art (SOTA) performance in architecture optimization, with an improvement in accuracy of up to 10.45%. Furthermore, it eliminates the need for time-consuming training and boosts inference speed by an average of 50 times, showcasing its exceptional efficiency and effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google