Farthest Greedy Path Sampling for Two-shot Recommender Search

要約

Weight-sharing Neural Architecture Search (WS-NAS) は、エンドツーエンドのディープ レコメンダー モデルを開発するための効率的なメカニズムを提供します。
ただし、複雑な検索空間では、上位のアーキテクチャ (またはパス) と下位のアーキテクチャ (またはパス) を区別するのは困難です。
この課題は、スーパーネットの適用範囲が限られていることと、サブネットの重みの同時適応によってさらに悪化します。これにより、重み共有メカニズムに固有の探索と活用の機能が制限されます。
これらの課題に対処するために、パスの品質と多様性のバランスをとる新しいパス サンプリング戦略である Farthest Greedy Path Sampling (FGPS) を導入します。
FGPS はパスの多様性を強化して、より包括的なスーパーネット探索を促進すると同時に、パスの品質を重視して有望なアーキテクチャを効果的に特定して利用できるようにします。
FGPS をツーショット NAS (TS-NAS) フレームワークに組み込むことで、高性能アーキテクチャを導き出します。
3 つのクリックスルー率 (CTR) 予測ベンチマークの評価は、当社のアプローチが一貫して優れた結果を達成し、手動で設計されたモデルとほとんどの NAS ベースのモデルの両方を上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

Weight-sharing Neural Architecture Search (WS-NAS) provides an efficient mechanism for developing end-to-end deep recommender models. However, in complex search spaces, distinguishing between superior and inferior architectures (or paths) is challenging. This challenge is compounded by the limited coverage of the supernet and the co-adaptation of subnet weights, which restricts the exploration and exploitation capabilities inherent to weight-sharing mechanisms. To address these challenges, we introduce Farthest Greedy Path Sampling (FGPS), a new path sampling strategy that balances path quality and diversity. FGPS enhances path diversity to facilitate more comprehensive supernet exploration, while emphasizing path quality to ensure the effective identification and utilization of promising architectures. By incorporating FGPS into a Two-shot NAS (TS-NAS) framework, we derive high-performance architectures. Evaluations on three Click-Through Rate (CTR) prediction benchmarks demonstrate that our approach consistently achieves superior results, outperforming both manually designed and most NAS-based models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google