Decoupling General and Personalized Knowledge in Federated Learning via Additive and Low-Rank Decomposition

要約

データの異質性に対処するためのパーソナライズされたフェデレーテッド ラーニング (PFL) の主要な戦略は、一般的な知識 (クライアント間で共有される) とクライアント固有の知識を分離することです。後者は削除しないとコラボレーションに悪影響を与える可能性があるためです。
既存の PFL 手法は主にパラメータ分割アプローチを採用しており、モデルのパラメータは 2 つのタイプのいずれかとして指定されます。一般的な知識を抽出するために他のクライアントと共有されるパラメータと、クライアント固有の知識を学習するためにローカルに保持されるパラメータです。
ただし、これら 2 種類のパラメーターはトレーニング プロセス中にジグソーパズルのように 1 つのモデルにまとめられるため、各パラメーターは一般的な知識とクライアント固有の知識の両方を同時に吸収する可能性があり、そのため 2 種類の知識を効果的に分離するのが困難になります。
このペーパーでは、この問題に対処するためにパラメーターの加法分解を使用する、シンプルだが効果的な PFL パラダイムである FedDecomp を紹介します。
モデルの各パラメータを共有パラメータまたは個人用パラメータとして割り当てる代わりに、FedDecomp は各パラメータを 2 つのパラメータ (共有パラメータと個人用パラメータ) の合計に分解します。これにより、パラメータと比較して、共有知識と個人用知識のより完全な分離が達成されます。
パーティショニング方法。
さらに、特定のクライアントのローカルな知識を保持するには、すべてのクライアントにわたる一般的な知識と比較してはるかに低いモデル容量が必要であることが判明したため、トレーニング プロセス中、パーソナライズされたパラメーターを含む行列を低ランクにします。
さらに、パフォーマンスをさらに向上させるために、新しい交互トレーニング戦略が提案されています。
複数のデータセットとさまざまな程度のデータ異質性にわたる実験結果は、FedDecomp が最先端の手法を最大 4.9\% 上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

To address data heterogeneity, the key strategy of Personalized Federated Learning (PFL) is to decouple general knowledge (shared among clients) and client-specific knowledge, as the latter can have a negative impact on collaboration if not removed. Existing PFL methods primarily adopt a parameter partitioning approach, where the parameters of a model are designated as one of two types: parameters shared with other clients to extract general knowledge and parameters retained locally to learn client-specific knowledge. However, as these two types of parameters are put together like a jigsaw puzzle into a single model during the training process, each parameter may simultaneously absorb both general and client-specific knowledge, thus struggling to separate the two types of knowledge effectively. In this paper, we introduce FedDecomp, a simple but effective PFL paradigm that employs parameter additive decomposition to address this issue. Instead of assigning each parameter of a model as either a shared or personalized one, FedDecomp decomposes each parameter into the sum of two parameters: a shared one and a personalized one, thus achieving a more thorough decoupling of shared and personalized knowledge compared to the parameter partitioning method. In addition, as we find that retaining local knowledge of specific clients requires much lower model capacity compared with general knowledge across all clients, we let the matrix containing personalized parameters be low rank during the training process. Moreover, a new alternating training strategy is proposed to further improve the performance. Experimental results across multiple datasets and varying degrees of data heterogeneity demonstrate that FedDecomp outperforms state-of-the-art methods up to 4.9\%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google