FedRIR: Rethinking Information Representation in Federated Learning

要約

ネットワークエッジのモバイルおよびWeb-of-of-of-of-of-of-of-of-of-of-of-of-of-of-of-of-of-of-of-things（WOT）デバイスは、機械学習アプリケーション向けの膨大な量のデータを生成しますが、プライバシーは集中モデルトレーニングを妨げます。
Federated Learning（FL）により、クライアント（デバイス）は、プライベートデータを転送せずに中央サーバーによって調整された共有モデルを協力してトレーニングできますが、クライアント間の固有の統計的不均一性は課題を提示し、多くの場合、パーソナライズされたローカルモデルに対するクライアントのニーズと一般化グローバルモデルを構築するという目標との間のジレンマにつながります。
既存のFLメソッドは通常、グローバルな一般化またはローカルパーソナライゼーションのいずれかを優先し、これら2つの目的間のトレードオフをもたらし、多様なクライアントデータの可能性を最大限に制限します。
この課題に対処するために、連邦学習プロセス（FedRIR）で情報表現を再考することにより、グローバルな一般化とローカルパーソナライズを同時に強化する新しいフレームワークを提案します。
具体的には、マスクされたクライアント固有の学習（MCSL）を導入します。これは、各クライアントの一意のデータ特性に合わせて調整された細かいクライアント固有の機能を分離および抽出し、パーソナライズを強化します。
同時に、情報蒸留モジュール（IDM）は、クライアント固有の情報を除外することにより、グローバル共有機能を改良し、一般化を強化するより純粋で堅牢なグローバル表現をもたらします。
洗練されたグローバルな機能を孤立したクライアント固有の機能と統合することにより、グローバルなパターンとローカルニュアンスの両方を効果的にキャプチャする濃縮表現を構築し、それによりクライアントのダウンストリームタスクのパフォーマンスを改善します。
このコードは、https：//github.com/deep-imaging-group/fedrirで入手できます。

要約(オリジナル)

Mobile and Web-of-Things (WoT) devices at the network edge generate vast amounts of data for machine learning applications, yet privacy concerns hinder centralized model training. Federated Learning (FL) allows clients (devices) to collaboratively train a shared model coordinated by a central server without transfer private data, but inherent statistical heterogeneity among clients presents challenges, often leading to a dilemma between clients’ needs for personalized local models and the server’s goal of building a generalized global model. Existing FL methods typically prioritize either global generalization or local personalization, resulting in a trade-off between these two objectives and limiting the full potential of diverse client data. To address this challenge, we propose a novel framework that simultaneously enhances global generalization and local personalization by Rethinking Information Representation in the Federated learning process (FedRIR). Specifically, we introduce Masked Client-Specific Learning (MCSL), which isolates and extracts fine-grained client-specific features tailored to each client’s unique data characteristics, thereby enhancing personalization. Concurrently, the Information Distillation Module (IDM) refines the global shared features by filtering out redundant client-specific information, resulting in a purer and more robust global representation that enhances generalization. By integrating the refined global features with the isolated client-specific features, we construct enriched representations that effectively capture both global patterns and local nuances, thereby improving the performance of downstream tasks on the client. The code is available at https://github.com/Deep-Imaging-Group/FedRIR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google