SONATA: Self-adaptive Evolutionary Framework for Hardware-aware Neural Architecture Search

要約

ニューラル ネットワーク (NN) によって推進される人工知能 (AI) の最近の進歩では、特にモノのインターネット (IoT) システムの制約された環境内で、パフォーマンスと効率のバランスを取るための革新的なニューラル アーキテクチャの設計が求められています。
HW 対応ニューラル アーキテクチャ検索 (HW 対応 NAS) は、進化的アルゴリズムなどの多目的最適化アプローチを使用して NN の設計を自動化する魅力的な戦略として浮上しています。
しかし、NN 設計パラメータとハードウェアを意識した NAS 最適化目標との間の複雑な関係は、依然として研究されていない研究領域であり、この知識を効果的に活用して検索プロセスを適切に導く機会が見落とされています。
さらに、検索中に生成される大量の評価データには、最適化戦略を洗練し、パレート フロントの近似を改善するための未開発の可能性が秘められています。
これらの問題に対処するために、私たちは HW 認識 NAS のための自己適応進化アルゴリズムである SONATA を提案します。
私たちの方法は、NN 設計パラメーターの学習された重要性に基づいた適応進化演算子を活用します。
具体的には、ツリーベースのサロゲート モデルと強化学習エージェントを通じて、NN アーキテクチャを「どのように」「いつ」進化させるかについての知識を収集することを目指しています。
ImageNet-1k データセット上のさまざまな NAS 検索スペースとハードウェア デバイスにわたる包括的な評価では、精度が最大 0.25% 向上し、遅延とエネルギーが最大 2.42 倍向上するという SONATA のメリットが示されました。
当社の SONATA は、ネイティブ NSGA-II に対して最大 sim$93.6% のパレート優位性を示しており、HW 対応 NAS における自己適応進化演算子の重要性をさらに規定しています。

要約(オリジナル)

Recent advancements in Artificial Intelligence (AI), driven by Neural Networks (NN), demand innovative neural architecture designs, particularly within the constrained environments of Internet of Things (IoT) systems, to balance performance and efficiency. HW-aware Neural Architecture Search (HW-aware NAS) emerges as an attractive strategy to automate the design of NN using multi-objective optimization approaches, such as evolutionary algorithms. However, the intricate relationship between NN design parameters and HW-aware NAS optimization objectives remains an underexplored research area, overlooking opportunities to effectively leverage this knowledge to guide the search process accordingly. Furthermore, the large amount of evaluation data produced during the search holds untapped potential for refining the optimization strategy and improving the approximation of the Pareto front. Addressing these issues, we propose SONATA, a self-adaptive evolutionary algorithm for HW-aware NAS. Our method leverages adaptive evolutionary operators guided by the learned importance of NN design parameters. Specifically, through tree-based surrogate models and a Reinforcement Learning agent, we aspire to gather knowledge on ‘How’ and ‘When’ to evolve NN architectures. Comprehensive evaluations across various NAS search spaces and hardware devices on the ImageNet-1k dataset have shown the merit of SONATA with up to 0.25% improvement in accuracy and up to 2.42x gains in latency and energy. Our SONATA has seen up to sim$93.6% Pareto dominance over the native NSGA-II, further stipulating the importance of self-adaptive evolution operators in HW-aware NAS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google