FedCBO: Reaching Group Consensus in Clustered Federated Learning through Consensus-based Optimization

要約

【タイトル】FedCBO：共通基盤を介してクラスタリングされたフェデレーテッド学習におけるグループ合意の達成

【要約】

– フェデレーテッド学習は、複数のユーザーからの学習モデルの統合を求める現代の機械学習の重要なフレームワークであり、各ユーザーが独自のローカルデータセットを持ち、データプライバシーや通信ロス制限に敏感な方法で、学習を行う。
– クラスタリングされたフェデレーテッド学習では、ユーザー間に追加の未知のグループ構造を仮定し、全ユーザー用の単一のグローバルモデルを単純に学習するのではなく、各グループにとって役立つモデルを学習することを目的とする。
– 本論文では、共通基盤に基づいた最適化（CBO）のアイデアに着想を得たクラスタリングされたフェデレーテッド学習の問題に対する新しい解決策を提案する。
– 新しいCBOタイプの手法は、グループメンバーシップに無頓着な相互作用粒子系に基づいており、多数の粒子系の大数限界を記述する平均場解析と、平均場領域における一般的な非凸型目的関数（各クラスタのユーザーの損失関数に対応）の同時グローバル最適化の収束保証を含む厳密な数学的推論に基づくモデルである。
– 実験結果は、我々のFedCBOアルゴリズムが他の最先端の手法に比べて有効であることを示し、我々の方法論的および理論的な仕事を検証するのに役立つ。

要約(オリジナル)

Federated learning is an important framework in modern machine learning that seeks to integrate the training of learning models from multiple users, each user having their own local data set, in a way that is sensitive to data privacy and to communication loss constraints. In clustered federated learning, one assumes an additional unknown group structure among users, and the goal is to train models that are useful for each group, rather than simply training a single global model for all users. In this paper, we propose a novel solution to the problem of clustered federated learning that is inspired by ideas in consensus-based optimization (CBO). Our new CBO-type method is based on a system of interacting particles that is oblivious to group memberships. Our model is motivated by rigorous mathematical reasoning, including a mean field analysis describing the large number of particles limit of our particle system, as well as convergence guarantees for the simultaneous global optimization of general non-convex objective functions (corresponding to the loss functions of each cluster of users) in the mean-field regime. Experimental results demonstrate the efficacy of our FedCBO algorithm compared to other state-of-the-art methods and help validate our methodological and theoretical work.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI