FedGen: Generalizable Federated Learning for Sequential Data

要約

機械学習の標準的なリスク最小化パラダイムに従う既存のフェデレーテッド ラーニング モデルは、トレーニング データに偽の相関が存在する場合、一般化できないことがよくあります。
実際の分散設定の多くでは、モデルに誤って影響を与える可能性のある分散デバイスまたはクライアント上のバイアスやデータ サンプリングの問題により、偽の相関が存在します。
現在の一般化アプローチは、集中トレーニング用に設計されており、ターゲットと不変の因果関係を持つ特徴を識別することを試み、それによって偽の特徴の影響を軽減します。
ただし、このような不変のリスク最小化アプローチは、多くのアプリケーションでは取得するのが難しいトレーニング データの分布に関するアプリオリな知識に依存しています。
この研究では、FedGen と呼ばれる一般化可能なフェデレーテッド ラーニング フレームワークを紹介します。これにより、クライアントは、トレーニング分布の事前知識がなくても、協力的な方法で偽の特徴と不変の特徴を識別して区別できます。
私たちは、さまざまなドメインの実世界のデータセットに対するアプローチを評価し、FedGen の結果として、より優れた一般化を実現し、現在のフェデレーテッド ラーニング アプローチの精度を 24% 以上上回るモデルが得られることを示しました。

要約(オリジナル)

Existing federated learning models that follow the standard risk minimization paradigm of machine learning often fail to generalize in the presence of spurious correlations in the training data. In many real-world distributed settings, spurious correlations exist due to biases and data sampling issues on distributed devices or clients that can erroneously influence models. Current generalization approaches are designed for centralized training and attempt to identify features that have an invariant causal relationship with the target, thereby reducing the effect of spurious features. However, such invariant risk minimization approaches rely on apriori knowledge of training data distributions which is hard to obtain in many applications. In this work, we present a generalizable federated learning framework called FedGen, which allows clients to identify and distinguish between spurious and invariant features in a collaborative manner without prior knowledge of training distributions. We evaluate our approach on real-world datasets from different domains and show that FedGen results in models that achieve significantly better generalization and can outperform the accuracy of current federated learning approaches by over 24%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google