Small-Scale-Fading-Aware Resource Allocation in Wireless Federated Learning

要約

賢明なリソースの割り当ては、システムと統計的不均一性の両方に対処することにより、ワイヤレスネットワークでのフェデレーション学習（FL）トレーニングパフォーマンスを効果的に強化できます。
ただし、既存の戦略は通常、ブロックフェージングの仮定に依存しており、FLグラデーションアップロードの各ラウンド内の急速なチャネルの変動を見落としており、FLトレーニングパフォーマンスの低下につながります。
したがって、このペーパーでは、マルチエージェント強化学習（MARL）フレームワークを使用して、小規模に対応するリソース割り当て戦略を提案しています。
具体的には、FLアルゴリズムのワンステップ収束境界を確立し、リソース割り当ての問題を分散化された部分的に観察可能なマルコフ決定プロセス（DEC-POMDP）として定式化します。これは、QMIXアルゴリズムを使用して解決されます。
私たちのフレームワークでは、各クライアントは、各コヒーレンスタイムスロット内のスペクトルと電力の割り当てを動的に決定するエージェントとして機能します。これは、局所的な観測と収束分析から得られた報酬に基づいています。
MARLの設定により、アクション空間の次元が減少し、分散化された意思決定が促進され、ソリューションのスケーラビリティと実用性が向上します。
実験結果は、QMIXベースのリソース割り当て戦略が、さまざまな程度の統計的不均一性にわたってベースラインメソッドを大幅に上回ることを示しています。
さらに、アブレーション研究は、小規模なフェードダイナミクスを組み込むことの重要な重要性を検証し、FLパフォーマンスの最適化におけるその役割を強調しています。

要約(オリジナル)

Judicious resource allocation can effectively enhance federated learning (FL) training performance in wireless networks by addressing both system and statistical heterogeneity. However, existing strategies typically rely on block fading assumptions, which overlooks rapid channel fluctuations within each round of FL gradient uploading, leading to a degradation in FL training performance. Therefore, this paper proposes a small-scale-fading-aware resource allocation strategy using a multi-agent reinforcement learning (MARL) framework. Specifically, we establish a one-step convergence bound of the FL algorithm and formulate the resource allocation problem as a decentralized partially observable Markov decision process (Dec-POMDP), which is subsequently solved using the QMIX algorithm. In our framework, each client serves as an agent that dynamically determines spectrum and power allocations within each coherence time slot, based on local observations and a reward derived from the convergence analysis. The MARL setting reduces the dimensionality of the action space and facilitates decentralized decision-making, enhancing the scalability and practicality of the solution. Experimental results demonstrate that our QMIX-based resource allocation strategy significantly outperforms baseline methods across various degrees of statistical heterogeneity. Additionally, ablation studies validate the critical importance of incorporating small-scale fading dynamics, highlighting its role in optimizing FL performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google