EC-NAS: Energy Consumption Aware Tabular Benchmarks for Neural Architecture Search

要約

深層学習モデルの選択、トレーニング、導入によるエネルギー消費は、最近大幅に増加しています。
この取り組みは、エネルギー消費に焦点を当てることで、より少ない計算リソースを必要とし、環境の持続可能性を優先する、エネルギー効率の高い深層学習モデルの設計を容易にすることを目的としています。
ニューラル アーキテクチャ検索 (NAS) は、事前に計算されたパフォーマンス統計を通じて NAS 戦略をコスト効率よく評価する表形式のベンチマークの恩恵を受けます。
私たちは、エネルギー効率を NAS の追加のパフォーマンス基準として含めることを推奨します。
この目的を達成するために、さまざまなアーキテクチャのエネルギー消費に関するデータを網羅する強化された表形式のベンチマークを導入します。
EC-NAS と呼ばれるこのベンチマークは、エネルギーを重視した NAS の研究を推進するために、オープンソース形式で利用可能になりました。
EC-NAS には、エネルギー消費を予測するサロゲート モデルが組み込まれており、データセット作成のエネルギー消費の削減に役立ちます。
私たちの調査結果では、多目的最適化アルゴリズムを活用することで EC-NAS の可能性が強調され、エネルギー使用量と精度のバランスが明らかになりました。
これは、パフォーマンスにほとんど、またはまったく妥協せずに、エネルギー効率の高いアーキテクチャを特定できる可能性を示唆しています。

要約(オリジナル)

Energy consumption from the selection, training, and deployment of deep learning models has seen a significant uptick recently. This work aims to facilitate the design of energy-efficient deep learning models that require less computational resources and prioritize environmental sustainability by focusing on the energy consumption. Neural architecture search (NAS) benefits from tabular benchmarks, which evaluate NAS strategies cost-effectively through precomputed performance statistics. We advocate for including energy efficiency as an additional performance criterion in NAS. To this end, we introduce an enhanced tabular benchmark encompassing data on energy consumption for varied architectures. The benchmark, designated as EC-NAS, has been made available in an open-source format to advance research in energy-conscious NAS. EC-NAS incorporates a surrogate model to predict energy consumption, aiding in diminishing the energy expenditure of the dataset creation. Our findings emphasize the potential of EC-NAS by leveraging multi-objective optimization algorithms, revealing a balance between energy usage and accuracy. This suggests the feasibility of identifying energy-lean architectures with little or no compromise in performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google