FACT: Federated Adversarial Cross Training

要約

Federated Learning (FL) は、複数の機密データ ソースを集約する分散モデル開発を容易にします。
クライアント間の情報転送は、分布の違い、つまり非 i.i.d. によって損なわれる可能性があります。
データ。
特に困難なシナリオは、アノテーション付きデータにアクセスせずにフェデレーテッド モデルをターゲット クライアントに適応させることです。
私たちは、ソース クライアント間の暗黙的なドメインの違いを使用してターゲット ドメインのドメイン シフトを特定する Federated Adversarial Cross Training (FACT) を提案します。
FL の各ラウンドで、FACT はソース クライアントのペアをクロス初期化し、ドメインに特化した表現を生成します。これは、ドメイン不変のデータ表現を学習するための直接の敵対者として使用されます。
私たちは、FACT が、3 つの一般的なマルチソース単一ターゲットベンチマークおよび最先端の教師なしドメイン適応 (UDA) において、最先端のフェデレーテッド、非フェデレーテッド、およびソースフリーのドメイン適応モデルを上回るパフォーマンスを示すことを実証的に示しています。
) 単一ソース、単一ターゲット実験のモデル。
私たちは、通信制限と参加クライアントの数に関する FACT の行動をさらに調査します。

要約(オリジナル)

Federated Learning (FL) facilitates distributed model development to aggregate multiple confidential data sources. The information transfer among clients can be compromised by distributional differences, i.e., by non-i.i.d. data. A particularly challenging scenario is the federated model adaptation to a target client without access to annotated data. We propose Federated Adversarial Cross Training (FACT), which uses the implicit domain differences between source clients to identify domain shifts in the target domain. In each round of FL, FACT cross initializes a pair of source clients to generate domain specialized representations which are then used as a direct adversary to learn a domain invariant data representation. We empirically show that FACT outperforms state-of-the-art federated, non-federated and source-free domain adaptation models on three popular multi-source-single-target benchmarks, and state-of-the-art Unsupervised Domain Adaptation (UDA) models on single-source-single-target experiments. We further study FACT’s behavior with respect to communication restrictions and the number of participating clients.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google