Learning to Rank Ace Neural Architectures via Normalized Discounted Cumulative Gain

要約

Neural Architecture Search (NAS) の主な課題の 1 つは、アーキテクチャのパフォーマンスを効率的にランク付けすることです。
パフォーマンス ランカーの主流の評価では、ランキングの相関関係 (ケンドールのタウなど) を使用します。これは、空間全体に等しく注意を払います。
ただし、NAS の最適化の目標は、検索スペース内の他のアーキテクチャにはあまり注意を払わずに、上位のアーキテクチャを特定することです。
このホワイト ペーパーでは、正規化された割引累積ゲイン (NDCG) がランカーにとってより優れたメトリックであることを経験的および理論的に示します。
続いて、NDCG を LambdaRank で直接最適化する新しいアルゴリズム AceNAS を提案します。
また、重み共有 NAS によって生成された弱いラベルを活用してランカーを事前トレーニングし、検索コストをさらに削減します。
12 の NAS ベンチマークと大規模な検索スペースでの広範な実験により、当社のアプローチが常に SOTA NAS メソッドよりも優れており、精度が最大 3.67% 向上し、検索コストが 8 分の 1 に削減されることが実証されています。

要約(オリジナル)

One of the key challenges in Neural Architecture Search (NAS) is to efficiently rank the performances of architectures. The mainstream assessment of performance rankers uses ranking correlations (e.g., Kendall’s tau), which pay equal attention to the whole space. However, the optimization goal of NAS is identifying top architectures while paying less attention on other architectures in the search space. In this paper, we show both empirically and theoretically that Normalized Discounted Cumulative Gain (NDCG) is a better metric for rankers. Subsequently, we propose a new algorithm, AceNAS, which directly optimizes NDCG with LambdaRank. It also leverages weak labels produced by weight-sharing NAS to pre-train the ranker, so as to further reduce search cost. Extensive experiments on 12 NAS benchmarks and a large-scale search space demonstrate that our approach consistently outperforms SOTA NAS methods, with up to 3.67% accuracy improvement and 8x reduction on search cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google