PFedDST: Personalized Federated Learning with Decentralized Selection Training

要約

分散学習（DL）により、複数のデバイスにわたる機械学習モデルのトレーニングが可能になりますが、非IIDデータ分布やデバイス機能の格差などの課題に直面しているため、トレーニング効率を妨げる可能性があります。
コミュニケーションボトルネックは、従来のフェデレートラーニング（FL）のセットアップをさらに複雑にします。
これらの問題を軽減するために、分散型選択トレーニング（PFEDDST）フレームワークを使用して、パーソナライズされたフェデレーション学習を紹介します。
PFEDDSTは、包括的なコミュニケーションスコアに基づいて、デバイスがピアを戦略的に評価および選択できるようにすることにより、モデルトレーニングを強化します。
このスコアは、損失、タスクの類似性、選択頻度を統合し、最適なピア接続を確保します。
この選択戦略は、現地のパーソナライズを増やし、有益なピアコラボレーションを促進して、トレーニングプロセスの安定性と効率を強化するように調整されています。
私たちの実験は、PFEDDSTがモデルの精度を高めるだけでなく、収束を加速することを示しています。
このアプローチは、データの不均一性の処理における最先端の方法よりも優れており、多様で分散型のシステムでより高速でより効果的なトレーニングの両方を提供します。

要約(オリジナル)

Distributed Learning (DL) enables the training of machine learning models across multiple devices, yet it faces challenges like non-IID data distributions and device capability disparities, which can impede training efficiency. Communication bottlenecks further complicate traditional Federated Learning (FL) setups. To mitigate these issues, we introduce the Personalized Federated Learning with Decentralized Selection Training (PFedDST) framework. PFedDST enhances model training by allowing devices to strategically evaluate and select peers based on a comprehensive communication score. This score integrates loss, task similarity, and selection frequency, ensuring optimal peer connections. This selection strategy is tailored to increase local personalization and promote beneficial peer collaborations to strengthen the stability and efficiency of the training process. Our experiments demonstrate that PFedDST not only enhances model accuracy but also accelerates convergence. This approach outperforms state-of-the-art methods in handling data heterogeneity, delivering both faster and more effective training in diverse and decentralized systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google