RATs-NAS: Redirection of Adjacent Trails on GCN for Neural Architecture Search

要約

【タイトル】RATs-NAS：グラフ畳み込みネットワークにおける隣接トレイルのリダイレクトによるニューラルアーキテクチャ探索

【要約】
– 手動で設計されたVGG、ResNet、DenseNetなどの畳み込みニューラルネットワーク（CNN）構造は、さまざまなタスクにおいてState-of-the-Art（SoTA）レベルを達成している
– ニューラルアーキテクチャ探索（NAS）は、上記のタスクを処理するための最適なCNNアーキテクチャを自動的に見つけることに焦点を当てている
– 検索されたアーキテクチャの検証は非常に時間がかかるため、予測器をベースとするメソッドはNASの本質的かつ重要な分野になっている
– 予測モデルを構築するためには、グラフ畳み込みネットワーク（GCN）と多層パーセプトロン（MLP）が一般的に使用される
– 本論文では、GCNとMLPの隣接操作トレイルの違いに着目し、RATs-NASを提案する
– RATs-NASは、Redirected Adjacent Trails GCN（RATs-GCN）とPredictor-based Search Space Sampling（P3S）モジュールの2つのコンポーネントで構成されている
– RATs-GCNはトレイルとその強度を変更して、より優れたニューラルネットワークアーキテクチャを探索することができる
– P3Sは、検索空間内のより狭いFLOPsの範囲に迅速に焦点を当てることができる
– セルベースのNASに関する観察に基づき、FLOPsの類似したアーキテクチャは同様のパフォーマンスを発揮すると考えられる
– 最終的に、RATs-GCNとP3Sから成るRATs-NASは、NASBench-201の3つのサブデータセットにおいて、WeakNAS、Arch-Graphなどを大幅に上回る成果を収めた

要約(オリジナル)

Various hand-designed CNN architectures have been developed, such as VGG, ResNet, DenseNet, etc., and achieve State-of-the-Art (SoTA) levels on different tasks. Neural Architecture Search (NAS) now focuses on automatically finding the best CNN architecture to handle the above tasks. However, the verification of a searched architecture is very time-consuming and makes predictor-based methods become an essential and important branch of NAS. Two commonly used techniques to build predictors are graph-convolution networks (GCN) and multilayer perceptron (MLP). In this paper, we consider the difference between GCN and MLP on adjacent operation trails and then propose the Redirected Adjacent Trails NAS (RATs-NAS) to quickly search for the desired neural network architecture. The RATs-NAS consists of two components: the Redirected Adjacent Trails GCN (RATs-GCN) and the Predictor-based Search Space Sampling (P3S) module. RATs-GCN can change trails and their strengths to search for a better neural network architecture. P3S can rapidly focus on tighter intervals of FLOPs in the search space. Based on our observations on cell-based NAS, we believe that architectures with similar FLOPs will perform similarly. Finally, the RATs-NAS consisting of RATs-GCN and P3S beats WeakNAS, Arch-Graph, and others by a significant margin on three sub-datasets of NASBench-201.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI