Federated Learning of Shareable Bases for Personalization-Friendly Image Classification

要約

パーソナライズされたフェデレーテッド ラーニング (PFL) は、クライアントのデータの集合的な知恵を活用しながら、個々のクライアントのデータ分布に合わせてカスタマイズされたモデルを構築することを目的としています。
既存の作品は、主に FL プロセスに参加するクライアントにパーソナライゼーションを提供しているため、不在または新たに現れた新しいクライアントを包含するのは困難です。
本稿では、このような欠陥に対処するための新しい PFL フレームワークである FedBasis を提案します。
FedBasis は、いくつかの共有可能な「基礎」モデルのセットを学習し、これらを線形的に組み合わせて、クライアント向けにパーソナライズされたモデルを形成できます。
特に新しいクライアントの場合、学習する必要があるのは、モデルの重みではなく、組み合わせ係数の小さなセットだけです。
この概念により、FedBasis は、特に低データ領域において、推論コストを増加させることなく、競合する PFL ベースラインよりもパラメーター効率が高く、堅牢で正確になります。
FedBasis の有効性と適用性を実証するために、画像分類のためのより実用的な PFL テストベッドも紹介します。これは、画像とラベルの両方の空間におけるクライアント間でのより大きなデータの不一致と、より忠実なトレーニングとテストの分割を特徴としています。

要約(オリジナル)

Personalized federated learning (PFL) aims to harness the collective wisdom of clients’ data while building personalized models tailored to individual clients’ data distributions. Existing works offer personalization primarily to clients who participate in the FL process, making it hard to encompass new clients who were absent or newly show up. In this paper, we propose FedBasis, a novel PFL framework to tackle such a deficiency. FedBasis learns a set of few shareable “basis” models, which can be linearly combined to form personalized models for clients. Specifically for a new client, only a small set of combination coefficients, not the model weights, needs to be learned. This notion makes FedBasis more parameter-efficient, robust, and accurate than competitive PFL baselines, especially in the low data regime, without increasing the inference cost. To demonstrate the effectiveness and applicability of FedBasis, we also present a more practical PFL testbed for image classification, featuring larger data discrepancies across clients in both the image and label spaces as well as more faithful training and test splits.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google