Federated Domain Generalization with Data-free On-server Gradient Matching

要約

ドメイン一般化（DG）は、複数の既知のソースドメインから、未知のターゲットドメインに適切に一般化できるモデルを学習することを目的としています。
DGの重要なアプローチの1つは、ドメインに不変の表現を生成するエンコーダーをトレーニングすることです。
ただし、このアプローチは、さまざまなドメインからのデータが異なるクライアントに分散されているフェデレーションドメイン一般化（FDG）には適用できません。
このホワイトペーパーでは、オンサーバーマッチンググラデーション（Fedomg）を介してフェデレーションラーニングと呼ばれる新しいアプローチを紹介します。
具体的には、分散モデルに関する情報としてローカル勾配を利用して、勾配内の製品の最大化を通じてすべてのドメインにわたって不変の勾配方向を見つけます。
利点は2つあります。1）FEDOMGは、追加の通信コストを負担することなく、集中サーバー上の分散モデルの特性を集約できます。
それらと統合されています。
他のFL/FDGベースラインと比較して、FEDOMGの堅牢性を実証するために、さまざまな設定での広範な実験的評価。
私たちの方法は、4つのFLベンチマークデータセット（MNIST、EMNIST、CIFAR-10、およびCIFAR-100）の最近のSOTAベースライン、および3つのFDGベンチマークデータセット（PAC、VLC、およびOfficeHome）を上回っています。

要約(オリジナル)

Domain Generalization (DG) aims to learn from multiple known source domains a model that can generalize well to unknown target domains. One of the key approaches in DG is training an encoder which generates domain-invariant representations. However, this approach is not applicable in Federated Domain Generalization (FDG), where data from various domains are distributed across different clients. In this paper, we introduce a novel approach, dubbed Federated Learning via On-server Matching Gradient (FedOMG), which can \emph{efficiently leverage domain information from distributed domains}. Specifically, we utilize the local gradients as information about the distributed models to find an invariant gradient direction across all domains through gradient inner product maximization. The advantages are two-fold: 1) FedOMG can aggregate the characteristics of distributed models on the centralized server without incurring any additional communication cost, and 2) FedOMG is orthogonal to many existing FL/FDG methods, allowing for additional performance improvements by being seamlessly integrated with them. Extensive experimental evaluations on various settings to demonstrate the robustness of FedOMG compared to other FL/FDG baselines. Our method outperforms recent SOTA baselines on four FL benchmark datasets (MNIST, EMNIST, CIFAR-10, and CIFAR-100), and three FDG benchmark datasets (PACS, VLCS, and OfficeHome).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google