Geometric Knowledge-Guided Localized Global Distribution Alignment for Federated Learning

要約

連合学習におけるデータの不均一性は、局所分布と大域分布の間の著しい不整合によって特徴付けられ、局所最適化の方向性の発散をもたらし、大域的なモデル学習を妨げる。既存の研究は、主に局所更新や大域的集約の最適化に焦点を当てているが、これらの間接的なアプローチは、特にラベルスキューとドメインスキューが共存するシナリオにおいて、高度に不均一なデータ分布を扱う際に不安定性を示す。これに対処するため、我々は、大域的な埋め込み分布を局所的にシミュレートすることを中心とした、幾何学的ガイド付きデータ生成法を提案する。まず埋め込み分布の幾何学的形状の概念を紹介し、次にプライバシー制約の下で大域的な幾何学的形状を得るという課題に取り組む。その後、大域的な幾何学的形状を利用して新しいサンプルの生成を導き、理想的な大域的分布により近い近似を可能にするGGEURを提案する。単一ドメインシナリオでは、モデルの汎化を強化するために、大域的な幾何学的形状に基づいてサンプルを増強し、マルチドメインシナリオでは、ドメイン間の大域的分布をシミュレートするために、クラスプロトタイプをさらに採用する。広範な実験結果は、ラベルの歪み、ドメインの歪み、およびそれらが共存するシナリオを含む、高度に異種なデータの取り扱いにおいて、我々の手法が既存のアプローチの性能を大幅に向上させることを示している。コード公開：https://github.com/WeiDai-David/2025CVPR_GGEUR

要約(オリジナル)

Data heterogeneity in federated learning, characterized by a significant misalignment between local and global distributions, leads to divergent local optimization directions and hinders global model training. Existing studies mainly focus on optimizing local updates or global aggregation, but these indirect approaches demonstrate instability when handling highly heterogeneous data distributions, especially in scenarios where label skew and domain skew coexist. To address this, we propose a geometry-guided data generation method that centers on simulating the global embedding distribution locally. We first introduce the concept of the geometric shape of an embedding distribution and then address the challenge of obtaining global geometric shapes under privacy constraints. Subsequently, we propose GGEUR, which leverages global geometric shapes to guide the generation of new samples, enabling a closer approximation to the ideal global distribution. In single-domain scenarios, we augment samples based on global geometric shapes to enhance model generalization; in multi-domain scenarios, we further employ class prototypes to simulate the global distribution across domains. Extensive experimental results demonstrate that our method significantly enhances the performance of existing approaches in handling highly heterogeneous data, including scenarios with label skew, domain skew, and their coexistence. Code published at: https://github.com/WeiDai-David/2025CVPR_GGEUR

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL