TopoNAS: Boosting Search Efficiency of Gradient-based NAS via Topological Simplification

要約

探索効率の向上は、ニューラルアーキテクチャ探索（NAS）の重要な目的の一つである。しかし、現在の多くのアプローチは、探索戦略の普遍性を無視しており、特にワンショットのNASアーキテクチャにおいて、探索過程における計算の冗長性を減らすことができない。また、現在のNAS手法は、非線形探索空間において無効な再パラメータ化を示すため、DARTSのような一般的な探索空間では効率が悪い。本論文では、探索可能な経路をトポロジカルに単純化することにより、探索時間とメモリ使用量を大幅に削減する、勾配ベースのワンショットNASのためのモデル非依存的アプローチであるTopoNASを提案する。まず、探索空間の非線形性をモデル化し、パラメータ化の難しさを明らかにする。探索効率を改善するために、トポロジカルな単純化手法を提示し、探索可能パスのトポロジカル構造を単純化するためにモジュール共有戦略を反復的に適用する。さらに、探索精度を維持するためのカーネル正規化手法も提案する。様々な探索空間を用いたNASBench201ベンチマークの実験結果により、本手法の有効性が実証された。提案するTopoNASが、高い探索精度を維持しつつ、探索効率という点で様々なアーキテクチャの性能を向上させることが証明された。プロジェクトページはhttps://xdedss.github.io/topo_simplification。

要約(オリジナル)

Improving search efficiency serves as one of the crucial objectives of Neural Architecture Search (NAS). However, many current approaches ignore the universality of the search strategy and fail to reduce the computational redundancy during the search process, especially in one-shot NAS architectures. Besides, current NAS methods show invalid reparameterization in non-linear search space, leading to poor efficiency in common search spaces like DARTS. In this paper, we propose TopoNAS, a model-agnostic approach for gradient-based one-shot NAS that significantly reduces searching time and memory usage by topological simplification of searchable paths. Firstly, we model the non-linearity in search spaces to reveal the parameterization difficulties. To improve the search efficiency, we present a topological simplification method and iteratively apply module-sharing strategies to simplify the topological structure of searchable paths. In addition, a kernel normalization technique is also proposed to preserve the search accuracy. Experimental results on the NASBench201 benchmark with various search spaces demonstrate the effectiveness of our method. It proves the proposed TopoNAS enhances the performance of various architectures in terms of search efficiency while maintaining a high level of accuracy. The project page is available at https://xdedss.github.io/topo_simplification.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL