Compressed Bayesian Federated Learning for Reliable Passive Radio Sensing in Industrial IoT

要約

Bayesian Federated Learning (FL) は、予測の不確実性を定量化する、適切に調整された機械学習 (ML) モデルを提供するために最近導入されました。
頻度主義的な FL セットアップと比較した利点にもかかわらず、分散ネットワーク上に実装されたベイジアン FL ツールは、連携するデバイス間でローカル事後分布の交換が繰り返されるため、通信コストが高くなりがちです。
したがって、この論文では、最終的な学習精度とキャリブレーションを犠牲にすることなく通信オーバーヘッドを削減する、通信効率の高い分散ベイジアン FL ポリシーを提案します。
提案された方法は圧縮ポリシーを統合し、デバイスがローカル事後分布を送信する前に複数の最適化ステップを実行できるようにします。
私たちは、開発したツールを産業用モノのインターネット (IIoT) のユースケースに統合します。このユースケースでは、自律型レーダー センサーを備えた連携ノードが、ロボットと共有される職場で人間のオペレーターの位置を確実に特定する役割を果たします。
数値結果は、開発されたアプローチが、通信オーバーヘッドを大幅に (つまり、最大 99%) 削減しながら、従来の (非圧縮) ベイジアン FL ツールによって提供されるモデルと互換性のある、高精度でありながら適切に調整された ML モデルを取得することを示しています。
さらに、提案されたアプローチは、特にテストデータセットの統計的分布が変化する場合、キャリブレーションの点で最先端の圧縮頻度主義 FL セットアップと比較した場合に有利です。

要約(オリジナル)

Bayesian Federated Learning (FL) has been recently introduced to provide well-calibrated Machine Learning (ML) models quantifying the uncertainty of their predictions. Despite their advantages compared to frequentist FL setups, Bayesian FL tools implemented over decentralized networks are subject to high communication costs due to the iterated exchange of local posterior distributions among cooperating devices. Therefore, this paper proposes a communication-efficient decentralized Bayesian FL policy to reduce the communication overhead without sacrificing final learning accuracy and calibration. The proposed method integrates compression policies and allows devices to perform multiple optimization steps before sending the local posterior distributions. We integrate the developed tool in an Industrial Internet of Things (IIoT) use case where collaborating nodes equipped with autonomous radar sensors are tasked to reliably localize human operators in a workplace shared with robots. Numerical results show that the developed approach obtains highly accurate yet well-calibrated ML models compatible with the ones provided by conventional (uncompressed) Bayesian FL tools while substantially decreasing the communication overhead (i.e., up to 99%). Furthermore, the proposed approach is advantageous when compared with state-of-the-art compressed frequentist FL setups in terms of calibration, especially when the statistical distribution of the testing dataset changes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google