Federated Generalised Variational Inference: A Robust Probabilistic Federated Learning Framework

要約

以前と尤度の誤りの両方に堅牢な確率的フェデレートラーニング（FL）フレームワークであるFedGVIを紹介します。
FedGVIは、較正された不確実性の定量化により、モデルの誤りの下で公平な予測を提供することにより、頻繁なフロリストとベイジアンFLの両方の制限に対処します。
私たちのアプローチは、以前のFLアプローチ、特に分割された変動推論（Ashman et al。、2022）を一般化し、堅牢でコンジュゲートの更新を許可し、クライアントの計算の複雑さを減らします。
固定点の収束、キャビティ分布の最適性、および尤度誤解に対する証明可能な堅牢性の観点から理論的分析を提供します。
さらに、複数の合成および現実世界分類データセットの堅牢性と予測パフォーマンスの改善の観点から、FEDGVIの有効性を経験的に実証します。

要約(オリジナル)

We introduce FedGVI, a probabilistic Federated Learning (FL) framework that is robust to both prior and likelihood misspecification. FedGVI addresses limitations in both frequentist and Bayesian FL by providing unbiased predictions under model misspecification, with calibrated uncertainty quantification. Our approach generalises previous FL approaches, specifically Partitioned Variational Inference (Ashman et al., 2022), by allowing robust and conjugate updates, decreasing computational complexity at the clients. We offer theoretical analysis in terms of fixed-point convergence, optimality of the cavity distribution, and provable robustness to likelihood misspecification. Further, we empirically demonstrate the effectiveness of FedGVI in terms of improved robustness and predictive performance on multiple synthetic and real world classification data sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google