Heterogeneity-aware Personalized Federated Learning via Adaptive Dual-Agent Reinforcement Learning

要約

Federated Learning（FL）は、ローカルデータを共有することなく、複数のクライアントが機械学習モデルを協力して協力して協力して、不均一なモノのインターネット（IoT）環境で非常に適用できるようにします。
ただし、クライアントのモデルアーキテクチャとコンピューティング機能における固有の不均一性により、モデルの精度損失と扱いにくいストラグラーの問題が発生することが多く、トレーニングの有効性が大幅に損なわれます。
これらの課題に取り組むために、このペーパーでは、マルチレベルの強化学習（RL）メカニズムを介して、HAPFLという名前の新しい不均一性を意識したパーソナライズされたフェデレーション学習方法を提案します。
HAPFLは、3つの戦略的コンポーネントを組み込むことにより、トレーニングプロセスを最適化します。1）RLベースの異種モデル割り当てメカニズム。
パラメーターサーバーは、近位ポリシー最適化（PPO）ベースのRLエージェントを採用して、パフォーマンスに基づいて適切にサイズの差別化されたモデルをクライアントに適応的に割り当て、パフォーマンスの格差を効果的に緩和します。
2）RLベースのトレーニング強度調整スキーム。
パラメーターサーバーは、別のPPOベースのRLエージェントを活用して、各クライアントのトレーニング強度を動的に微調整して、トレーニング効率をさらに高め、停滞したレイテンシを減らします。
3）知識蒸留ベースの相互学習メカニズム。
各クライアントは、不均一なローカルモデルとLitemodelという名前の均質な軽量モデルの両方を展開します。これらのモデルは、知識の蒸留を通じて相互学習を受けます。
この均一なLitemodelは、グローバルな知識の集約と共有において極めて重要な役割を果たし、パーソナライズされたローカルトレーニングの有効性を大幅に向上させます。
複数のベンチマークデータセットにわたる実験結果は、HAPFLが高精度を達成するだけでなく、全体的なトレーニング時間を20.9％-40.4％短縮し、既存のソリューションと比較して19.0％-48.0％を減らすことを実質的に示しています。

要約(オリジナル)

Federated Learning (FL) empowers multiple clients to collaboratively train machine learning models without sharing local data, making it highly applicable in heterogeneous Internet of Things (IoT) environments. However, intrinsic heterogeneity in clients’ model architectures and computing capabilities often results in model accuracy loss and the intractable straggler problem, which significantly impairs training effectiveness. To tackle these challenges, this paper proposes a novel Heterogeneity-aware Personalized Federated Learning method, named HAPFL, via multi-level Reinforcement Learning (RL) mechanisms. HAPFL optimizes the training process by incorporating three strategic components: 1) An RL-based heterogeneous model allocation mechanism. The parameter server employs a Proximal Policy Optimization (PPO)-based RL agent to adaptively allocate appropriately sized, differentiated models to clients based on their performance, effectively mitigating performance disparities. 2) An RL-based training intensity adjustment scheme. The parameter server leverages another PPO-based RL agent to dynamically fine-tune the training intensity for each client to further enhance training efficiency and reduce straggling latency. 3) A knowledge distillation-based mutual learning mechanism. Each client deploys both a heterogeneous local model and a homogeneous lightweight model named LiteModel, where these models undergo mutual learning through knowledge distillation. This uniform LiteModel plays a pivotal role in aggregating and sharing global knowledge, significantly enhancing the effectiveness of personalized local training. Experimental results across multiple benchmark datasets demonstrate that HAPFL not only achieves high accuracy but also substantially reduces the overall training time by 20.9%-40.4% and decreases straggling latency by 19.0%-48.0% compared to existing solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google