Decentralized Federated Domain Generalization with Style Sharing: A Formal Modeling and Convergence Analysis

要約

連邦学習（FL）の文献の多くは、トレーニング時間とテスト時間の間でローカルデータセット統計が同じままである設定に焦点を当てています。
ドメイン一般化（DG）の最近の進歩は、ソース（トレーニング）ドメインのデータを使用して、目に見えないターゲット（テスト）ドメインのデータによく一般化するモデルをトレーニングすることを目的としています。
この論文では、FLとDGの既存の作業における2つの大きなギャップに動機付けられています。（1）DG目標とトレーニングプロセスの正式な数学的分析の欠如。
（2）FLのDG研究は、従来のスタートポロジーアーキテクチャに限定されています。
2番目のギャップに対処すると、スタイル共有} $（$ \ texttt {styleddg} $）を使用して、$ \ textit {分散型フェデレートドメイン一般化を開発します。
さらに、スタイルベースのDGトレーニングの最適化を数学的に分析するための最初の体系的なアプローチを提供することにより、最初のギャップを埋めます。
フレームワーク内に既存の集中DGアルゴリズムをキャストし、その形式を使用して$ \ texttt {styleddg} $をモデル化します。
これに基づいて、$ \ texttt {styleddg} $のサブ線形収束率が取得できる分析条件を取得します。
2つの一般的なDGデータセットでの実験を通じて、$ \ texttt {styleddg} $が、スタイルの共有を使用しない分散型グラデーション方法と比較して、最小限の通信オーバーヘッドでターゲットドメイン全体で精度を大幅に改善できることを実証します。

要約(オリジナル)

Much of the federated learning (FL) literature focuses on settings where local dataset statistics remain the same between training and testing time. Recent advances in domain generalization (DG) aim to use data from source (training) domains to train a model that generalizes well to data from unseen target (testing) domains. In this paper, we are motivated by two major gaps in existing work on FL and DG: (1) the lack of formal mathematical analysis of DG objectives and training processes; and (2) DG research in FL being limited to the conventional star-topology architecture. Addressing the second gap, we develop $\textit{Decentralized Federated Domain Generalization with Style Sharing}$ ($\texttt{StyleDDG}$), a fully decentralized DG algorithm designed to allow devices in a peer-to-peer network to achieve DG based on sharing style information inferred from their datasets. Additionally, we fill the first gap by providing the first systematic approach to mathematically analyzing style-based DG training optimization. We cast existing centralized DG algorithms within our framework, and employ their formalisms to model $\texttt{StyleDDG}$. Based on this, we obtain analytical conditions under which a sub-linear convergence rate of $\texttt{StyleDDG}$ can be obtained. Through experiments on two popular DG datasets, we demonstrate that $\texttt{StyleDDG}$ can obtain significant improvements in accuracy across target domains with minimal added communication overhead compared to decentralized gradient methods that do not employ style sharing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google