Towards Leveraging AutoML for Sustainable Deep Learning: A Multi-Objective HPO Approach on Deep Shift Neural Networks

要約

ディープラーニング（DL）は、大規模なデータセットから複雑なパターンを抽出することでさまざまな分野を発展させてきました。
ただし、DL モデルの計算要求は環境とリソースの課題を引き起こします。
ディープ シフト ニューラル ネットワーク (DSNN) は、シフト演算を活用して推論時の計算の複雑さを軽減するソリューションを提供します。
標準的な DNN からの洞察に従って、私たちは AutoML 技術を利用して DSNN の可能性を最大限に活用することに興味を持っています。
リソース消費を最小限に抑えながら DSNN のパフォーマンスを最大化するためのハイパーパラメーター最適化 (HPO) の影響を研究します。
これは、多目的 (MO) 最適化と精度およびエネルギー消費を潜在的に補完的な目的として組み合わせているため、最先端の多目的 (MF) HPO と多目的最適化を組み合わせることを提案します。
実験結果は、私たちのアプローチの有効性を示しており、80% 以上の精度と低い計算コストを備えたモデルが得られました。
全体として、私たちの方法は、持続可能な AI アプリケーションを可能にしながら、効率的なモデル開発を加速します。

要約(オリジナル)

Deep Learning (DL) has advanced various fields by extracting complex patterns from large datasets. However, the computational demands of DL models pose environmental and resource challenges. Deep shift neural networks (DSNNs) offer a solution by leveraging shift operations to reduce computational complexity at inference. Following the insights from standard DNNs, we are interested in leveraging the full potential of DSNNs by means of AutoML techniques. We study the impact of hyperparameter optimization (HPO) to maximize DSNN performance while minimizing resource consumption. Since this combines multi-objective (MO) optimization with accuracy and energy consumption as potentially complementary objectives, we propose to combine state-of-the-art multi-fidelity (MF) HPO with multi-objective optimization. Experimental results demonstrate the effectiveness of our approach, resulting in models with over 80\% in accuracy and low computational cost. Overall, our method accelerates efficient model development while enabling sustainable AI applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google