Federated Bayesian Deep Learning: The Application of Statistical Aggregation Methods to Bayesian Models

要約

フェデレーテッド ラーニング (FL) は、データのプライバシーを維持し、ローカル データセットの共有に関連する通信コストを削減しながら、複数の分散データセットを利用して機械学習モデルをトレーニングするアプローチです。
集約戦略は、分散決定論的モデルの重みとバイアスをプールまたは融合するために開発されました。
しかし、最新の決定論的深層学習 (DL) モデルは多くの場合、調整が不十分であり、リモート センシング プラットフォームや安全性が重視されるアプリケーションにとって望ましい、予測における認識論的不確実性の尺度を伝達する能力が欠けています。
逆に、ベイジアン DL モデルは多くの場合、適切に校正されており、競合する予測精度とともに認識論的不確実性の尺度を定量化して伝達することができます。
残念ながら、ベイジアン DL モデルの重みとバイアスは確率分布によって定義されるため、決定論的モデルに FL スキームに関連付けられた集計手法を単純に適用することは不可能であるか、次善のパフォーマンスが得られます。
この研究では、CIFAR-10 データセットの独立同一分散 (IID) および非 IID パーティションと完全変分 ResNet-20 アーキテクチャを使用して、ベイジアン DL モデルの 6 つの異なる集計戦略を分析します。
さらに、FL におけるより複雑な変分推論手法に代わる軽量の代替手段として、近似ベイジアン モンテカルロ ドロップアウト モデルに適用される従来の連合平均アプローチを分析します。
集計戦略は、精度、校正、不確実性の定量化、トレーニングの安定性、クライアントのコンピューティング要件に下流の影響を与えるベイジアン FL システムの設計における重要なハイパーパラメーターであることを示します。

要約(オリジナル)

Federated learning (FL) is an approach to training machine learning models that takes advantage of multiple distributed datasets while maintaining data privacy and reducing communication costs associated with sharing local datasets. Aggregation strategies have been developed to pool or fuse the weights and biases of distributed deterministic models; however, modern deterministic deep learning (DL) models are often poorly calibrated and lack the ability to communicate a measure of epistemic uncertainty in prediction, which is desirable for remote sensing platforms and safety-critical applications. Conversely, Bayesian DL models are often well calibrated and capable of quantifying and communicating a measure of epistemic uncertainty along with a competitive prediction accuracy. Unfortunately, because the weights and biases in Bayesian DL models are defined by a probability distribution, simple application of the aggregation methods associated with FL schemes for deterministic models is either impossible or results in sub-optimal performance. In this work, we use independent and identically distributed (IID) and non-IID partitions of the CIFAR-10 dataset and a fully variational ResNet-20 architecture to analyze six different aggregation strategies for Bayesian DL models. Additionally, we analyze the traditional federated averaging approach applied to an approximate Bayesian Monte Carlo dropout model as a lightweight alternative to more complex variational inference methods in FL. We show that aggregation strategy is a key hyperparameter in the design of a Bayesian FL system with downstream effects on accuracy, calibration, uncertainty quantification, training stability, and client compute requirements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google