A Survey of Supernet Optimization and its Applications: Spatial and Temporal Optimization for Neural Architecture Search

要約

本調査は、NAS（Neural Architecture Search）分野におけるスーパーネット最適化の手法を分類し、評価することに主眼を置いている。スーパーネット最適化では、全ての可能なネットワークアーキテクチャの探索空間を包含する、単一の過大パラメータ化されたネットワークを学習する。本調査では、空間的最適化と時間的最適化のアプローチに基づいて、スーパーネット最適化手法を分析する。空間的最適化は、スーパーネットとそのサブネットのアーキテクチャとパラメータの最適化に関するものであり、時間的最適化は、スーパーネットからアーキテクチャを選択する効率の向上に関するものである。また、これらの手法の利点、限界、様々なタスクや設定における潜在的なアプリケーション（移植性、ドメイン一般化、Transformerモデルなど）についても議論している。

要約(オリジナル)

This survey focuses on categorizing and evaluating the methods of supernet optimization in the field of Neural Architecture Search (NAS). Supernet optimization involves training a single, over-parameterized network that encompasses the search space of all possible network architectures. The survey analyses supernet optimization methods based on their approaches to spatial and temporal optimization. Spatial optimization relates to optimizing the architecture and parameters of the supernet and its subnets, while temporal optimization deals with improving the efficiency of selecting architectures from the supernet. The benefits, limitations, and potential applications of these methods in various tasks and settings, including transferability, domain generalization, and Transformer models, are also discussed.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL