A Safe Deep Reinforcement Learning Approach for Energy Efficient Federated Learning in Wireless Communication Networks

要約

人工知能 (AI) 対応のワイヤレス ネットワークの新時代に向けて進展しており、AI が環境に与える影響に関する懸念が産業界と学術界の両方で提起されています。
Federated Learning (FL) は、プライバシーを保護する重要な分散型 AI 技術として浮上しています。
フロリダ州では現在取り組みが行われているにもかかわらず、その環境への影響は依然として未解決の問題です。
FL プロセスの全体的なエネルギー消費の最小化を目標として、モデルの特定のパフォーマンスを保証しながら、必要な総エネルギーを最小限に抑えるために、関連するデバイスの計算リソースと通信リソースをオーケストレーションすることを提案します。
この目的を達成するために、私たちはソフト アクター クリティカル深層強化学習 (DRL) ソリューションを提案します。このソリューションでは、トレーニング中にペナルティ関数が導入され、環境の制約に違反する戦略にペナルティを与え、安全な RL プロセスに貢献します。
エネルギー消費と通信オーバーヘッドをさらに削減することを目的として、デバイス レベルの同期方法と、計算コスト効率の高い FL 環境が提案されています。
評価結果は、さまざまなネットワーク環境および FL アーキテクチャにおける 4 つの最先端のベースライン ソリューションと比較した、提案されたスキームの有効性と堅牢性を示し、総エネルギー消費量で最大 94% の削減を達成しました。

要約(オリジナル)

Progressing towards a new era of Artificial Intelligence (AI) – enabled wireless networks, concerns regarding the environmental impact of AI have been raised both in industry and academia. Federated Learning (FL) has emerged as a key privacy preserving decentralized AI technique. Despite efforts currently being made in FL, its environmental impact is still an open problem. Targeting the minimization of the overall energy consumption of an FL process, we propose the orchestration of computational and communication resources of the involved devices to minimize the total energy required, while guaranteeing a certain performance of the model. To this end, we propose a Soft Actor Critic Deep Reinforcement Learning (DRL) solution, where a penalty function is introduced during training, penalizing the strategies that violate the constraints of the environment, and contributing towards a safe RL process. A device level synchronization method, along with a computationally cost effective FL environment are proposed, with the goal of further reducing the energy consumption and communication overhead. Evaluation results show the effectiveness and robustness of the proposed scheme compared to four state-of-the-art baseline solutions on different network environments and FL architectures, achieving a decrease of up to 94% in the total energy consumption.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google