Federated Out-of-Distribution Generalization: A Causal Augmentation View

要約

Federated Learningは、マルチソース情報を統合して、すべてのクライアントデータを一般化できるモデルを取得することにより、共同モデルを目指しています。
既存の方法は、多くの場合、知識の蒸留またはデータ増強を活用して、クライアント間のデータバイアスのマイナスの影響を軽減します。
ただし、分散分布サンプルでの教師モデルの限られたパフォーマンスと、増強されたデータと元のデータの固有の品質ギャップは、それらの有効性を妨げており、通常、豊富なコンテキスト情報を組み込むことの利点を活用できません。
これらの制限に対処するために、このペーパーでは、属性とカテゴリの間の偽の相関を破るために因果関係に触発されたデータ増強を採用しているFedCaugと呼ばれるフェデレーション因果拡張法を提案します。
具体的には、因果領域のローカリゼーションモジュールを設計して、画像内の背景とオブジェクトを正確に識別および分離し、因果データ増強のための豊富なコンテキスト情報を提供します。
さらに、因果関係の特徴とクライアント内のコンテキストを統合して反事実的なサンプルを生成する因果関係に触発されたデータ増強モジュールを設計します。
これにより、データの多様性が大幅に向上し、プロセス全体ではクライアント間の情報共有は必要ありません。これにより、データプライバシーの保護に貢献します。
3つのデータセットで実施された広範な実験により、FedCaugはモデルのバックグラウンドへの依存を著しく減らしてサンプルラベルを予測し、最新の方法と比較して優れたパフォーマンスを達成することが明らかになりました。

要約(オリジナル)

Federated learning aims to collaboratively model by integrating multi-source information to obtain a model that can generalize across all client data. Existing methods often leverage knowledge distillation or data augmentation to mitigate the negative impact of data bias across clients. However, the limited performance of teacher models on out-of-distribution samples and the inherent quality gap between augmented and original data hinder their effectiveness and they typically fail to leverage the advantages of incorporating rich contextual information. To address these limitations, this paper proposes a Federated Causal Augmentation method, termed FedCAug, which employs causality-inspired data augmentation to break the spurious correlation between attributes and categories. Specifically, it designs a causal region localization module to accurately identify and decouple the background and objects in the image, providing rich contextual information for causal data augmentation. Additionally, it designs a causality-inspired data augmentation module that integrates causal features and within-client context to generate counterfactual samples. This significantly enhances data diversity, and the entire process does not require any information sharing between clients, thereby contributing to the protection of data privacy. Extensive experiments conducted on three datasets reveal that FedCAug markedly reduces the model’s reliance on background to predict sample labels, achieving superior performance compared to state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google