FBFL: A Field-Based Coordination Approach for Data Heterogeneity in Federated Learning

要約

過去数年間、Federated Learning（FL）は、プライバシーの懸念が高いドメインで機械学習モデルを訓練するための一般的なソリューションになりました。
ただし、FLのスケーラビリティとパフォーマンスは、デバイス間のデータが非依存的に同一に分散されている（非IID）である実際の展開において大きな課題に直面しています。
データ分布の不均一性は、デバイスの空間分布から頻繁に発生し、適切な取り扱いがない場合にモデルのパフォーマンスが低下します。
さらに、FL集中型アーキテクチャへの典型的な依存は、特に大規模または動的環境で問題となるボトルネックと単一の発信リスクを導入します。
このギャップを埋めるために、フィールドベースのフェデレートラーニング（FBFL）を提案します。これは、マクロプログラムとフィールド調整を活用してこれらの制限に対処するための新しいアプローチを提案します。
（ii）高度なマクロプログラムパターンを使用した自己組織化の階層アーキテクチャの構築。
さらに、FBFLは前述の制限を克服するだけでなく、各サブリージョンの特定のデータ分布に合わせたより専門的なモデルの開発を可能にします。
この論文は、FBFLを正式に形式化し、MNIST、FashionMnist、および拡張MNISTデータセットを使用して広範囲に評価します。
IIDデータ条件の下で動作する場合、FBFLは広く使用されているFedAVGアルゴリズムと同等に実行することを実証します。
さらに、非IIDシナリオに挑戦するにあたり、FBFLはFEDAVGを上回るだけでなく、他の最先端の方法、つまりFedProxと足場を上回ります。
さらに、サーバーの障害に対するFBFLの自己組織化階層アーキテクチャの回復力を紹介します。

要約(オリジナル)

In the last years, Federated learning (FL) has become a popular solution to train machine learning models in domains with high privacy concerns. However, FL scalability and performance face significant challenges in real-world deployments where data across devices are non-independently and identically distributed (non-IID). The heterogeneity in data distribution frequently arises from spatial distribution of devices, leading to degraded model performance in the absence of proper handling. Additionally, FL typical reliance on centralized architectures introduces bottlenecks and single-point-of-failure risks, particularly problematic at scale or in dynamic environments. To close this gap, we propose Field-Based Federated Learning (FBFL), a novel approach leveraging macroprogramming and field coordination to address these limitations through: (i) distributed spatial-based leader election for personalization to mitigate non-IID data challenges; and (ii) construction of a self-organizing, hierarchical architecture using advanced macroprogramming patterns. Moreover, FBFL not only overcomes the aforementioned limitations, but also enables the development of more specialized models tailored to the specific data distribution in each subregion. This paper formalizes FBFL and evaluates it extensively using MNIST, FashionMNIST, and Extended MNIST datasets. We demonstrate that, when operating under IID data conditions, FBFL performs comparably to the widely-used FedAvg algorithm. Furthermore, in challenging non-IID scenarios, FBFL not only outperforms FedAvg but also surpasses other state-of-the-art methods, namely FedProx and Scaffold, which have been specifically designed to address non-IID data distributions. Additionally, we showcase the resilience of FBFL’s self-organizing hierarchical architecture against server failures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google