GeNAS: Neural Architecture Search with Better Generalization

要約

Neural Architecture Search (NAS) は、優れたテスト パフォーマンスで最適なネットワーク アーキテクチャを自動的に発掘することを目的としています。
最近のニューラル アーキテクチャ検索 (NAS) アプローチは、検証の損失または精度に依存して、ターゲット データに適した優れたネットワークを見つけます。
この論文では、より一般化されたアーキテクチャを発掘するための新しいニューラル アーキテクチャ検索手段を調査します。
我々は、損失曲面の平坦度がニューラル ネットワーク アーキテクチャの汎化能力を予測するための有望な代用手段となり得ることを実証します。
私たちはさまざまな検索空間で提案した方法を評価し、最先端の NAS 方法と比較して同等またはそれ以上のパフォーマンスを示しました。
特に、平坦性測定によって見つかった結果のアーキテクチャは、オブジェクト検出やセマンティック セグメンテーションなどのさまざまなタスクだけでなく、データ分散のさまざまなシフト (例: ImageNet-V2、-A、-O) に対して堅牢に一般化されます。
コードは https://github.com/clovaai/GeNAS で入手できます。

要約(オリジナル)

Neural Architecture Search (NAS) aims to automatically excavate the optimal network architecture with superior test performance. Recent neural architecture search (NAS) approaches rely on validation loss or accuracy to find the superior network for the target data. In this paper, we investigate a new neural architecture search measure for excavating architectures with better generalization. We demonstrate that the flatness of the loss surface can be a promising proxy for predicting the generalization capability of neural network architectures. We evaluate our proposed method on various search spaces, showing similar or even better performance compared to the state-of-the-art NAS methods. Notably, the resultant architecture found by flatness measure generalizes robustly to various shifts in data distribution (e.g. ImageNet-V2,-A,-O), as well as various tasks such as object detection and semantic segmentation. Code is available at https://github.com/clovaai/GeNAS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google