RATs-NAS: Redirection of Adjacent Trails on GCN for Neural Architecture Search

要約

タイトル：RATs-NAS：グラフ畳み込みネットワークにおける隣接トレイルのリダイレクトによるニューラルアーキテクチャサーチ

要約：
– 手作りのCNNアーキテクチャ（VGG、ResNet、DenseNetなど）が開発され、様々なタスクでState-of-the-Artレベルを達成している。
– Neural Architecture Search（NAS）は、これらのタスクに最適なCNNアーキテクチャを自動的に見つけることに焦点を当てている。
– しかし、検証には非常に時間がかかり、予測ベースの方法がNASの重要な分野となっている。
– 予測モデルを構築するための2つの一般的な技術は、グラフ畳み込みネットワーク（GCN）と多層パーセプトロン（MLP）である。
– 本論文では、GCNとMLPの違いを考慮し、隣接操作トレイル上のリダイレクトを提案することで、所望のニューラルネットワークアーキテクチャを迅速に検索するRedirected Adjacent Trails NAS（RATs-NAS）を提案する。
– RATs-NASには、RATs-GCNと予測ベースのSearch Space Sampling（P3S）モジュールの2つのコンポーネントが含まれる。
– RATs-GCNは、トレイルとその強度を変更して、より優れたニューラルネットワークアーキテクチャを探索することができる。
– P3Sは、サーチスペース内のFLOPのより狭い間隔に迅速に集中することができる。
– セルベースのNASに関する観察から、類似したFLOPを持つアーキテクチャは同様の性能を発揮すると考えられる。
– 最終的に、RATs-GCNとDSSから構成されるRATs-NASは、NASBench-201の3つのサブデータセットでWeakNAS、Arch-Graph、その他の手法を大幅に上回った。

要約(オリジナル)

Various hand-designed CNN architectures have been developed, such as VGG, ResNet, DenseNet, etc., and achieve State-of-the-Art (SoTA) levels on different tasks. Neural Architecture Search (NAS) now focuses on automatically finding the best CNN architecture to handle the above tasks. However, the verification of a searched architecture is very time-consuming and makes predictor-based methods become an essential and important branch of NAS. Two commonly used techniques to build predictors are graph-convolution networks (GCN) and multilayer perceptron (MLP). In this paper, we consider the difference between GCN and MLP on adjacent operation trails and then propose the Redirected Adjacent Trails NAS (RATs-NAS) to quickly search for the desired neural network architecture. The RATs-NAS consists of two components: the Redirected Adjacent Trails GCN (RATs-GCN) and the Predictor-based Search Space Sampling (P3S) module. RATs-GCN can change trails and their strengths to search for a better neural network architecture. DSS can rapidly focus on tighter intervals of FLOPs in the search space. Based on our observations on cell-based NAS, we believe that architectures with similar FLOPs will perform similarly. Finally, the RATs-NAS consisting of RATs-GCN and DSS beats WeakNAS, Arch-Graph, and others by a significant margin on three sub-datasets of NASBench-201.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI