RARTS: An Efficient First-Order Relaxed Architecture Search Method

要約

微分可能アーキテクチャ検索（DARTS）は、2レベルの最適化問題の解決に基づくデータ駆動型ニューラルネットワーク設計の効果的な方法です。
多くのアーキテクチャ検索タスクで成功したにもかかわらず、1次DARTSの精度と2次DARTSの効率については依然としていくつかの懸念があります。
このホワイトペーパーでは、DARTSのような対応する損失関数の混合二次導関数を使用せずに、データとネットワーク分割の両方を介したアーキテクチャ学習でデータセット全体を利用する単一レベルの代替および緩和アーキテクチャ検索（RARTS）メソッドを定式化します。
ネットワーク分割の定式化では、重みは異なるが関連する2つのネットワークが協力して、共有アーキテクチャを検索します。
DARTSに対するRARTSの利点は、収束定理と分析的に解けるモデルによって正当化されます。
さらに、適切な実験結果に示されているように、RARTSは、精度と検索効率においてDARTSとそのバリアントよりも優れています。
トポロジカルアーキテクチャ、つまりエッジと操作を検索するタスクの場合、RARTSは、CIFAR-10の2次DARTSよりも高い精度と計算コストの60％削減を実現します。
RARTSは、ImageNetへの転送時に引き続きDARTSを上回り、検索スペースを変更せずに純粋にトレーニングアルゴリズムに基づいたイノベーションであるにもかかわらず、DARTSの最近のバリアントと同等です。
幅、つまり畳み込み層のチャネル数を検索するタスクでは、RARTSは従来のネットワークプルーニングベンチマークよりも優れています。
NATS-Benchのようなパブリックアーキテクチャ検索ベンチマークに関するさらなる実験も、RARTSの卓越性をサポートしています。

要約(オリジナル)

Differentiable architecture search (DARTS) is an effective method for data-driven neural network design based on solving a bilevel optimization problem. Despite its success in many architecture search tasks, there are still some concerns about the accuracy of first-order DARTS and the efficiency of the second-order DARTS. In this paper, we formulate a single level alternative and a relaxed architecture search (RARTS) method that utilizes the whole dataset in architecture learning via both data and network splitting, without involving mixed second derivatives of the corresponding loss functions like DARTS. In our formulation of network splitting, two networks with different but related weights cooperate in search of a shared architecture. The advantage of RARTS over DARTS is justified by a convergence theorem and an analytically solvable model. Moreover, RARTS outperforms DARTS and its variants in accuracy and search efficiency, as shown in adequate experimental results. For the task of searching topological architecture, i.e., the edges and the operations, RARTS obtains a higher accuracy and 60\% reduction of computational cost than second-order DARTS on CIFAR-10. RARTS continues to out-perform DARTS upon transfer to ImageNet and is on par with recent variants of DARTS even though our innovation is purely on the training algorithm without modifying search space. For the task of searching width, i.e., the number of channels in convolutional layers, RARTS also outperforms the traditional network pruning benchmarks. Further experiments on the public architecture search benchmark like NATS-Bench also support the preeminence of RARTS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google