Anytime Neural Architecture Search on Tabular Data

要約

表形式のデータ分析に対する需要が高まっているため、手動によるアーキテクチャ設計からニューラル アーキテクチャ検索 (NAS) への移行が求められています。
この移行には、予算割り当ての増加によりアーキテクチャの品質を段階的に向上させながら、任意の時間予算内で現在の最適なアーキテクチャを戻すことができる、効率的で応答性の高い Always NAS アプローチが必要です。
ただし、表形式データに関する Anytime NAS の研究領域は未開拓のままです。
この目的を達成するために、表形式のデータに合わせて調整された初の Always NAS アプローチである ATLAS を導入します。
ATLAS は、トレーニング不要のアーキテクチャ評価とトレーニングベースのアーキテクチャ評価の両方のパラダイムの長所を組み合わせた、共同最適化を備えた新しい 2 フェーズのフィルタリングとリファインメント最適化スキームを導入しています。
具体的には、フィルタリング フェーズで、ATLAS は表形式データ専用に設計された新しいゼロコスト プロキシを採用して、候補アーキテクチャのパフォーマンスを効率的に推定し、それによって有望なアーキテクチャのセットを取得します。
その後の改良フェーズでは、ATLAS は固定予算の検索アルゴリズムを利用して有望な候補のトレーニングをスケジュールし、最適なアーキテクチャを正確に特定します。
Always NAS の 2 つのフェーズを共同で最適化するために、制約内で高い NAS パフォーマンスを提供する予算を意識したコーディネーターも考案しました。
実験による評価では、ATLAS が事前に定義された時間予算内で良好なパフォーマンスのアーキテクチャを取得し、新しい時間予算が利用可能になったときにより優れたアーキテクチャを返すことができることが実証されています。
全体として、既存の NAS アプローチと比較して、表形式データの検索時間が最大 82.75 倍短縮されます。

要約(オリジナル)

The increasing demand for tabular data analysis calls for transitioning from manual architecture design to Neural Architecture Search (NAS). This transition demands an efficient and responsive anytime NAS approach that is capable of returning current optimal architectures within any given time budget while progressively enhancing architecture quality with increased budget allocation. However, the area of research on Anytime NAS for tabular data remains unexplored. To this end, we introduce ATLAS, the first anytime NAS approach tailored for tabular data. ATLAS introduces a novel two-phase filtering-and-refinement optimization scheme with joint optimization, combining the strengths of both paradigms of training-free and training-based architecture evaluation. Specifically, in the filtering phase, ATLAS employs a new zero-cost proxy specifically designed for tabular data to efficiently estimate the performance of candidate architectures, thereby obtaining a set of promising architectures. Subsequently, in the refinement phase, ATLAS leverages a fixed-budget search algorithm to schedule the training of the promising candidates, so as to accurately identify the optimal architecture. To jointly optimize the two phases for anytime NAS, we also devise a budget-aware coordinator that delivers high NAS performance within constraints. Experimental evaluations demonstrate that our ATLAS can obtain a good-performing architecture within any predefined time budget and return better architectures as and when a new time budget is made available. Overall, it reduces the search time on tabular data by up to 82.75x compared to existing NAS approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google