Federated Domain Generalization for Image Recognition via Cross-Client Style Transfer

要約

領域汎化（DG）は、画像認識において、未知の領域でも良好な性能を発揮する汎用のモデルを学習することを目的としたホットトピックである。近年、データのプライバシーを侵害することなく、複数の分散型クライアントからグローバルモデルを学習する機械学習パラダイムである連合学習（FL）が、DGに新たな課題、新たな可能性をもたらしています。FLシナリオでは、既存の最先端（SOTA）DG手法の多くは、学習時に異なるドメインからのデータを集中化する必要があるため、効果がないことが分かっている。本論文では、データサンプルの交換を必要としないクロスクライアントスタイル転送(CCST)による連合学習下での画像認識のための新しい領域汎化手法を提案する。我々のCCST法は、ソースクライアントの分布をより均一にすることができるため、各ローカルモデルに全てのクライアントの画像スタイルに適合するように学習させ、異なるモデルのバイアスを回避することが可能である。また，2種類のスタイル（単一画像スタイルと領域全体スタイル）とそれに対応する機構を提案し，異なるシナリオに応じて選択できるようにする．本論文で提案するスタイル表現は非常に軽量であり，データセットの再構築にほとんど利用できない．また，多様性のレベルはハイパーパラメータで柔軟に制御できる．本手法は、2つのDGベンチマーク（PACS、OfficeHome）とFL設定における大規模医療画像データセット（Camelyon17）において、最近のSOTA DG手法より優れた性能を発揮する。最後に、本手法は多くの古典的なDG手法と直交しており、複合的な利用により付加的な性能を達成することができる。

要約(オリジナル)

Domain generalization (DG) has been a hot topic in image recognition, with a goal to train a general model that can perform well on unseen domains. Recently, federated learning (FL), an emerging machine learning paradigm to train a global model from multiple decentralized clients without compromising data privacy, brings new challenges, also new possibilities, to DG. In the FL scenario, many existing state-of-the-art (SOTA) DG methods become ineffective, because they require the centralization of data from different domains during training. In this paper, we propose a novel domain generalization method for image recognition under federated learning through cross-client style transfer (CCST) without exchanging data samples. Our CCST method can lead to more uniform distributions of source clients, and thus make each local model learn to fit the image styles of all the clients to avoid the different model biases. Two types of style (single image style and overall domain style) with corresponding mechanisms are proposed to be chosen according to different scenarios. Our style representation is exceptionally lightweight and can hardly be used for the reconstruction of the dataset. The level of diversity is also flexible to be controlled with a hyper-parameter. Our method outperforms recent SOTA DG methods on two DG benchmarks (PACS, OfficeHome) and a large-scale medical image dataset (Camelyon17) in the FL setting. Last but not least, our method is orthogonal to many classic DG methods, achieving additive performance by combined utilization.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL