POMONAG: Pareto-Optimal Many-Objective Neural Architecture Generator

要約

Neural Architecture Search (NAS) はニューラル ネットワークの設計を自動化し、人間の専門知識への依存を軽減します。
NAS 手法は計算量が多く、データセットに固有ですが、補助予測子によりトレーニングが必要なモデルが減り、検索時間が短縮されます。
この戦略は、複数の計算上の制約を満たすアーキテクチャを生成するために使用されます。
最近、Transferable NAS が登場し、検索プロセスをデータセット依存からタスク依存に一般化しました。
この分野では、DiffusionNAG が最先端の手法です。
この拡散ベースのアプローチは計算を効率化し、追加の適応を必要とせずに、目に見えないデータセットの精度に最適化されたアーキテクチャを生成します。
ただし、DiffusionNAG は精度のみに重点を置くため、モデルの複雑さ、計算効率、推論レイテンシーなどの他の重要な目的を見落とします。これらの要素は、リソースに制約のある環境でモデルを展開するために不可欠な要素です。
この論文では、多目的拡散プロセスを介して DiffusionNAG を拡張する、パレート最適多目的ニューラル アーキテクチャ ジェネレーター (POMONAG) を紹介します。
POMONAG は、精度、パラメーターの数、積和演算 (MAC)、および推論レイテンシを同時に考慮します。
パフォーマンス予測モデルを統合して、これらの指標を推定し、拡散勾配をガイドします。
POMONAG の最適化は、トレーニング メタデータセットを拡張し、パレート フロント フィルタリングを適用し、条件付き生成のための埋め込みを洗練することで強化されています。
これらの機能強化により、POMONAG はパフォーマンスと効率において以前の最先端のものを上回るパレート最適アーキテクチャを生成できるようになります。
結果は 2 つの検索スペース (NASBench201 と MobileNetV3) で検証され、15 の画像分類データセットにわたって評価されました。

要約(オリジナル)

Neural Architecture Search (NAS) automates neural network design, reducing dependence on human expertise. While NAS methods are computationally intensive and dataset-specific, auxiliary predictors reduce the models needing training, decreasing search time. This strategy is used to generate architectures satisfying multiple computational constraints. Recently, Transferable NAS has emerged, generalizing the search process from dataset-dependent to task-dependent. In this field, DiffusionNAG is a state-of-the-art method. This diffusion-based approach streamlines computation, generating architectures optimized for accuracy on unseen datasets without further adaptation. However, by focusing solely on accuracy, DiffusionNAG overlooks other crucial objectives like model complexity, computational efficiency, and inference latency — factors essential for deploying models in resource-constrained environments. This paper introduces the Pareto-Optimal Many-Objective Neural Architecture Generator (POMONAG), extending DiffusionNAG via a many-objective diffusion process. POMONAG simultaneously considers accuracy, number of parameters, multiply-accumulate operations (MACs), and inference latency. It integrates Performance Predictor models to estimate these metrics and guide diffusion gradients. POMONAG’s optimization is enhanced by expanding its training Meta-Dataset, applying Pareto Front Filtering, and refining embeddings for conditional generation. These enhancements enable POMONAG to generate Pareto-optimal architectures that outperform the previous state-of-the-art in performance and efficiency. Results were validated on two search spaces — NASBench201 and MobileNetV3 — and evaluated across 15 image classification datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google