FedSub: Introducing class-aware Subnetworks Fusion to Enhance Personalized Federated Learning in Ubiquitous Systems

要約

パーソナライズされたフェデレーテッド ラーニングは、AI 主導のユビキタス システムに不可欠であり、プライバシーを保護しながら、多様かつ進化するユーザー行動に適応できるモデルの分散開発をサポートします。
協調的なモデルのトレーニングで異種ユーザー データの分布に対処しているにもかかわらず、既存の方法では、パーソナライゼーションと一般化のバランス、ユーザーの類似性の過度の単純化、またはグローバル モデルへの依存度の高さといった制限に直面することがよくあります。
このペーパーでは、クラス認識プロトタイプとモデル サブネットワークの使用を通じてパーソナライゼーションを強化するように設計された新しいフェデレーション アプローチである FedSub を提案します。
プロトタイプはユーザー データのコンパクトな表現として機能し、サーバー上でクラスター化され、特定のラベル パターンに基づいて類似点を識別します。
同時に、サブネットワーク (各クラスの処理に必要なモデル コンポーネント) がローカルで抽出され、これらのクラスターに従ってサーバーによって融合され、ユーザーごとに高度に調整されたモデル更新が生成されます。
このきめ細かい、クラス固有のクライアント モデルの集約により、FedSub は個々のユーザー データ パターンの固有の特性を捕捉できるようになります。
FedSub の有効性は、人間の活動認識とモバイル ヘルス アプリケーションから得られる、データの異質性の高さを特徴とする 3 つの現実世界のシナリオで検証されています。
実験による評価では、個人のモバイルおよびウェアラブル デバイスに基づくユビキタス システムのパーソナライゼーションにおける最先端の大幅な進歩に関して、FedSub のパフォーマンスが向上していることが実証されています。

要約(オリジナル)

Personalized Federated Learning is essential in AI-driven ubiquitous systems, supporting the distributed development of models able to adapt to diverse and evolving user behaviors while safeguarding privacy. Despite addressing heterogeneous user data distributions in collaborative model training, existing methods often face limitations balancing personalization and generalization, oversimplifying user similarities, or relying heavily on global models. In this paper, we propose FedSub, a novel federated approach designed to enhance personalization through the use of class-aware prototypes and model subnetworks. Prototypes serve as compact representations of user data, clustered on the server to identify similarities based on specific label patterns. Concurrently, subnetworks — model components necessary to process each class — are extracted locally and fused by the server according to these clusters, producing highly tailored model updates for each user. This fine-grained, class-specific aggregation of clients’ models allows FedSub to capture the unique characteristics of individual user data patterns. The effectiveness of FedSub is validated in three real-world scenarios characterized by high data heterogeneity, derived from human activity recognition and mobile health applications. Experimental evaluations demonstrate FedSub’s performance improvements with respect to the state-of-the-art and significant advancements in personalization for ubiquitous systems based on personal mobile and wearable devices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google