MANAS: Multi-Agent Neural Architecture Search

要約

ニューラル アーキテクチャ検索 (NAS) 問題は通常、グラフ レベルのグローバルな目的を最大化するために、エッジに対する最適な操作を学習することを目標とするグラフ検索問題として定式化されます。
アーキテクチャ パラメータ空間が大きいため、NAS の実用化を妨げる重要なボトルネックは効率性です。
このホワイト ペーパーでは、エージェントがネットワークのサブセットを制御し、最適なアーキテクチャに到達するように調整するマルチエージェント問題として NAS をフレーミングすることにより、この問題に対処します。
2 つの異なる軽量実装を提供します。メモリ要件が削減され (最新技術の 8 分の 1)、はるかに計算コストの高いメソッドよりもパフォーマンスが高くなります。
理論的には、O(sqrt(T)) の形式の後悔の消失を示します。ここで、T はラウンドの総数です。
最後に、ランダム検索はしばしば無視される効果的なベースラインであることを認識して、3 つの代替データセットと 2 つのネットワーク構成で追加の実験を行い、比較して好ましい結果を達成します。

要約(オリジナル)

The Neural Architecture Search (NAS) problem is typically formulated as a graph search problem where the goal is to learn the optimal operations over edges in order to maximise a graph-level global objective. Due to the large architecture parameter space, efficiency is a key bottleneck preventing NAS from its practical use. In this paper, we address the issue by framing NAS as a multi-agent problem where agents control a subset of the network and coordinate to reach optimal architectures. We provide two distinct lightweight implementations, with reduced memory requirements (1/8th of state-of-the-art), and performances above those of much more computationally expensive methods. Theoretically, we demonstrate vanishing regrets of the form O(sqrt(T)), with T being the total number of rounds. Finally, aware that random search is an, often ignored, effective baseline we perform additional experiments on 3 alternative datasets and 2 network configurations, and achieve favourable results in comparison.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google