Towards Energy-Aware Federated Learning via MARL: A Dual-Selection Approach for Model and Client

要約

フェデレーテッド ラーニング (FL) は、異種の人工知能 (AIoT) デバイスの知識共有において有望ですが、そのトレーニング パフォーマンスとエネルギー効率は、バッテリー駆動の実際のシナリオでは、
同種のモデルパラダイムと異種デバイスの機能間の不一致。
その結果、デバイス間のさまざまな違いにより、既存の FL 手法ではデバイスのバッテリー制約などのエネルギー制約のあるシナリオでトレーニングを効果的に実施することが困難になります。
上記の問題に取り組むために、私たちは DR-FL という名前のエネルギーを意識した FL フレームワークを提案します。これは、クライアントと異種ディープラーニング モデルの両方のエネルギー制約を考慮して、エネルギー効率の高い FL を可能にします。
Vanilla FL とは異なり、DR-FL は、当社が提案するマルチエージェント強化学習 (MARL) ベースの二重選択手法を採用しています。これにより、参加するデバイスは、MARL のコンピューティング能力とエネルギー容量に基づいて、グローバル モデルに効果的かつ適応的に貢献できます。
-ベースの方法。
広く認知されているさまざまなデータセットを使用して実施された実験により、DR-FL には、エネルギー制限を遵守しながら、大規模な AIoT システムの多様なモデル間の知識交換を最適化する機能があることが実証されました。
さらに、個々の異種デバイスのモデルのパフォーマンスも向上します。

要約(オリジナル)

Although Federated Learning (FL) is promising in knowledge sharing for heterogeneous Artificial Intelligence of Thing (AIoT) devices, their training performance and energy efficacy are severely restricted in practical battery-driven scenarios due to the “wooden barrel effect” caused by the mismatch between homogeneous model paradigms and heterogeneous device capability. As a result, due to various kinds of differences among devices, it is hard for existing FL methods to conduct training effectively in energy-constrained scenarios, such as battery constraints of devices. To tackle the above issues, we propose an energy-aware FL framework named DR-FL, which considers the energy constraints in both clients and heterogeneous deep learning models to enable energy-efficient FL. Unlike Vanilla FL, DR-FL adopts our proposed Muti-Agents Reinforcement Learning (MARL)-based dual-selection method, which allows participated devices to make contributions to the global model effectively and adaptively based on their computing capabilities and energy capacities in a MARL-based manner. Experiments conducted with various widely recognized datasets demonstrate that DR-FL has the capability to optimize the exchange of knowledge among diverse models in large-scale AIoT systems while adhering to energy limitations. Additionally, it improves the performance of each individual heterogeneous device’s model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google