Privacy Preserving Bayesian Federated Learning in Heterogeneous Settings

要約

フェデレーテッド ラーニング (FL) のいくつかの実際的なアプリケーションでは、クライアントはデータとコンピューティング リソースの両方の点で非常に異質であるため、各クライアントに同じモデル アーキテクチャを適用することは非常に制限されます。
さらに、ローカル データが限られているクライアントでは、不確実性の定量化とデータ プライバシーの制約の必要性が特に高まることがよくあります。
この論文では、大規模なローカル データセットがない場合でも十分に学習する、カスタマイズされたローカル ベイジアン モデルのトレーニングに基づいて、これらすべての制約と懸念事項に同時に対処するための統合 FL フレームワークを紹介します。
ベイジアン フレームワークは、事前分布の形式で監視を組み込む自然な方法を提供します。
ネットワークの機能 (出力) 空間で事前分布を使用して、異種クライアント間でのコラボレーションを促進します。
さらに、このフレームワークには、正式な差分プライバシー保証が提供されます。
標準的な FL データセットでの実験では、モデルの不確実性の特性評価も提供しながら、同種環境と異種環境の両方で、また厳格なプライバシー制約の下で、私たちのアプローチが強力なベースラインよりも優れたパフォーマンスを発揮することを実証しています。

要約(オリジナル)

In several practical applications of federated learning (FL), the clients are highly heterogeneous in terms of both their data and compute resources, and therefore enforcing the same model architecture for each client is very limiting. Moreover, the need for uncertainty quantification and data privacy constraints are often particularly amplified for clients that have limited local data. This paper presents a unified FL framework to simultaneously address all these constraints and concerns, based on training customized local Bayesian models that learn well even in the absence of large local datasets. A Bayesian framework provides a natural way of incorporating supervision in the form of prior distributions. We use priors in the functional (output) space of the networks to facilitate collaboration across heterogeneous clients. Moreover, formal differential privacy guarantees are provided for this framework. Experiments on standard FL datasets demonstrate that our approach outperforms strong baselines in both homogeneous and heterogeneous settings and under strict privacy constraints, while also providing characterizations of model uncertainties.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google