MixPath: A Unified Approach for One-shot Neural Architecture Search

要約

複数の畳み込みカーネルをブレンドすることは、ニューラル アーキテクチャの設計において有利であることが証明されています。
ただし、現在の 2 段階ニューラル アーキテクチャ検索方法は、主に単一パス検索空間に限定されています。
マルチパス構造のモデルを効率的に探索する方法は依然として難しい問題です。
このペーパーでは、候補アーキテクチャを正確に評価するためにワンショット マルチパス スーパーネットをトレーニングすることを目的としています。
具体的には、調査した検索空間では、複数のパスからの特徴ベクトルを合計すると、単一パスからの特徴ベクトルのほぼ倍数になることがわかりました。
このような差異は、スーパーネットのトレーニングとそのランキング能力を混乱させます。
したがって、我々は、異種の特徴統計を正規化するために、シャドウ バッチ正規化 (SBN) と呼ばれる新しいメカニズムを提案します。
広範な実験により、SBN が最適化を安定させ、ランキングのパフォーマンスを向上させることができることが証明されています。
私たちは、統合マルチパス ワンショット アプローチを MixPath と呼んでいます。これは、ImageNet 上で最先端の結果を達成する一連のモデルを生成します。

要約(オリジナル)

Blending multiple convolutional kernels is proved advantageous in neural architecture design. However, current two-stage neural architecture search methods are mainly limited to single-path search spaces. How to efficiently search models of multi-path structures remains a difficult problem. In this paper, we are motivated to train a one-shot multi-path supernet to accurately evaluate the candidate architectures. Specifically, we discover that in the studied search spaces, feature vectors summed from multiple paths are nearly multiples of those from a single path. Such disparity perturbs the supernet training and its ranking ability. Therefore, we propose a novel mechanism called Shadow Batch Normalization (SBN) to regularize the disparate feature statistics. Extensive experiments prove that SBNs are capable of stabilizing the optimization and improving ranking performance. We call our unified multi-path one-shot approach as MixPath, which generates a series of models that achieve state-of-the-art results on ImageNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google