Dynamical Isometry based Rigorous Fair Neural Architecture Search

要約

最近、重み共有技術により、ニューラル アーキテクチャ検索のトレーニングと評価手順が大幅に高速化されました。
しかし、既存の重み共有戦略のほとんどは経験や観察のみに基づいているため、検索結果には解釈可能性や合理性が欠けています。
また、現在の手法では公平性が損なわれているため、モジュールの評価において誤った判断をしやすくなっています。
これらの問題に対処するために、動的アイソメトリに基づく新しいニューラル アーキテクチャ検索アルゴリズムを提案します。
平均場理論の不動点解析法を使用して、定常状態のランダム ニューラル ネットワークにおけるダイナミクスの動作と、ダイナミック アイソメトリが重み共有ベースの NAS の公平性をどのように保証するかを解析します。
一方、よく条件付けされたヤコビアンを使用してすべてのモジュールの汎化誤差を推定することにより、モジュール選択戦略が厳密で公平であることを証明します。
広範な実験により、同じサイズで、提案された方法によって検索されたアーキテクチャは、ImageNet 分類において最先端のトップ 1 検証精度を達成できることが示されています。
さらに、私たちの方法が一般性を失うことなく、より優れたより安定したトレーニングパフォーマンスを達成できることを実証します。

要約(オリジナル)

Recently, the weight-sharing technique has significantly speeded up the training and evaluation procedure of neural architecture search. However, most existing weight-sharing strategies are solely based on experience or observation, which makes the searching results lack interpretability and rationality. In addition, due to the negligence of fairness, current methods are prone to make misjudgments in module evaluation. To address these problems, we propose a novel neural architecture search algorithm based on dynamical isometry. We use the fix point analysis method in the mean field theory to analyze the dynamics behavior in the steady state random neural network, and how dynamic isometry guarantees the fairness of weight-sharing based NAS. Meanwhile, we prove that our module selection strategy is rigorous fair by estimating the generalization error of all modules with well-conditioned Jacobian. Extensive experiments show that, with the same size, the architecture searched by the proposed method can achieve state-of-the-art top-1 validation accuracy on ImageNet classification. In addition, we demonstrate that our method is able to achieve better and more stable training performance without loss of generality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google