DHA: End-to-End Joint Optimization of Data Augmentation Policy, Hyper-parameter and Architecture

要約

自動機械学習（AutoML）は通常、データ補強（DA）政策、超パラメータ最適化（HPO）、神経アーキテクチャ探索（NAS）など、いくつかの重要な構成要素を含んでいます。これらのコンポーネントを分離して自動化する戦略は数多く開発されていますが、探索次元が大きく増加し、各コンポーネントの入力タイプが異なるため、これらのコンポーネントの共同最適化は依然として困難です。これと並行して、最適なアーキテクチャを最初に検索し、それを再トレーニングしてからNASに展開するという一般的な手法は、検索と再トレーニングのステージ間の性能相関が低いという問題がしばしば発生します。AutoMLコンポーネントを統合し、検索終了時にすぐに使えるモデルを返すエンドツーエンドのソリューションが望まれる。そこで、我々は、Data augmentation policy、Hyper-parameter、Architectureの共同最適化を実現するDHAを提案する。具体的には、圧縮された低次元特徴空間を最適化することにより、エンドツーエンドNASを微分可能に実現し、DAポリシーとHPOをネットワークパラメータとネットワークアーキテクチャの更新に同時に適応する動的スケジューラとして位置づける。実験によると、DHAは様々なデータセットと探索空間において、最先端の結果（SOTA）を達成することができた。我々の知る限り、再トレーニングを行わずにエンドツーエンドでDAポリシー、NAS、HPOを効率的に共同最適化したのは、我々が初めてである。

要約(オリジナル)

Automated machine learning (AutoML) usually involves several crucial components, such as Data Augmentation (DA) policy, Hyper-Parameter Optimization (HPO), and Neural Architecture Search (NAS). Although many strategies have been developed for automating these components in separation, joint optimization of these components remains challenging due to the largely increased search dimension and the variant input types of each component. In parallel to this, the common practice of searching for the optimal architecture first and then retraining it before deployment in NAS often suffers from low performance correlation between the searching and retraining stages. An end-to-end solution that integrates the AutoML components and returns a ready-to-use model at the end of the search is desirable. In view of these, we propose DHA, which achieves joint optimization of Data augmentation policy, Hyper-parameter and Architecture. Specifically, end-to-end NAS is achieved in a differentiable manner by optimizing a compressed lower-dimensional feature space, while DA policy and HPO are regarded as dynamic schedulers, which adapt themselves to the update of network parameters and network architecture at the same time. Experiments show that DHA achieves state-of-the-art (SOTA) results on various datasets and search spaces. To the best of our knowledge, we are the first to efficiently and jointly optimize DA policy, NAS, and HPO in an end-to-end manner without retraining.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL