FedSSA: Semantic Similarity-based Aggregation for Efficient Model-Heterogeneous Personalized Federated Learning

要約

フェデレーテッド ラーニング (FL) は、プライバシーを保護しながら協調的に機械学習を行うパラダイムです。
従来の FL では、すべてのデータ所有者 (別名 FL クライアント) が同じローカル モデルをトレーニングする必要があります。
この設計は、データやシステムの異質性が関係するシナリオにはあまり適していません。
この課題に対処するために、Model-Heterogeneous Personalized FL (MHPFL) が登場しました。
既存の MHPFL アプローチは、多くの場合、学習タスクと同じ性質を持つ公開データセットの存在に依存するか、高い計算コストと通信コストが発生します。
これらの制限に対処するために、私たちは、各クライアントのモデルを異種 (構造が異なる) 特徴抽出器と同種 (構造が同じ) 分類ヘッダーに分割する Federated Semantic Mirrority Aggregation (FedSSA) アプローチを提案します。
セマンティック類似性に基づくヘッダー パラメーターの集約を通じて、ローカルからグローバルへの知識の転送を実行します。
さらに、グローバルからローカルへの知識の伝達は、各クライアントの過去のローカル ヘッダーの可視クラス パラメーターと最新のグローバル ヘッダーのパラメーターを融合する適応パラメーター安定化戦略によって実現されます。
このように、FedSSA は公開データセットに依存せず、部分的なヘッダー パラメーターの送信のみを必要とします (それによりコストが節約されます)。
理論分析により、FedSSA の収束性が証明されています。
広範な実験により、FedSSA は 7 つの最先端の MHPFL ベースラインと比較して、最大 $3.62 \times\%$ 高い精度、$15.54$ 倍高い通信効率、および $15.52 \times$ 高い計算効率を達成することが実証されています。

要約(オリジナル)

Federated learning (FL) is a privacy-preserving collaboratively machine learning paradigm. Traditional FL requires all data owners (a.k.a. FL clients) to train the same local model. This design is not well-suited for scenarios involving data and/or system heterogeneity. Model-Heterogeneous Personalized FL (MHPFL) has emerged to address this challenge. Existing MHPFL approaches often rely on having a public dataset with the same nature of the learning task, or incur high computation and communication costs. To address these limitations, we propose the Federated Semantic Similarity Aggregation (FedSSA) approach, which splits each client’s model into a heterogeneous (structure-different) feature extractor and a homogeneous (structure-same) classification header. It performs local-to-global knowledge transfer via semantic similarity-based header parameter aggregation. In addition, global-to-local knowledge transfer is achieved via an adaptive parameter stabilization strategy which fuses the seen-class parameters of historical local headers with that of the latest global header for each client. In this way, FedSSA does not rely on public datasets, while only requiring partial header parameter transmission (thereby saving costs). Theoretical analysis proves the convergence of FedSSA. Extensive experiments demonstrate that FedSSA achieves up to $3.62 \times\%$ higher accuracy, $15.54$ times higher communication efficiency, and $15.52 \times$ higher computational efficiency compared to 7 state-of-the-art MHPFL baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google