Distributed Variational Inference for Online Supervised Learning

要約

インテリジェント センサー ネットワークにおける推論問題に対する効率的なソリューションを開発することは、次世代の位置情報、追跡、およびマッピング サービスにとって非常に重要です。
この論文では、センサー ネットワークにおける連続変数、扱いにくい事後データ、および大規模なリアルタイム データに適用する、スケーラブルな分散確率推論アルゴリズムを開発します。
集中型設定では、変分推論は近似ベイズ推定を実行するための基本的な手法であり、扱いにくい事後密度がパラメトリック密度で近似されます。
私たちの主な貢献は、集中推定目標の分離可能な下限の導出にあり、これによりセンサー ネットワークでのワンホップ通信による分散変分推論が可能になります。
分布証拠の下限 (DELBO) は、観測の尤度および以前の密度との乖離の加重合計で構成されており、測定証拠とのギャップはコンセンサスとモデリングの誤差によるものです。
ストリーミング データの処理中にバイナリ分類と回帰の問題を解決するために、DELBO を最大化するオンライン分散アルゴリズムを設計し、それを非線形尤度のガウス変分密度に特化します。
結果として得られる分散ガウス変分推論 (DGVI) は、共分散行列に対する $1$ ランク補正を効率的に反転します。
最後に、高次元モデルでのオンライン分散推論用の対角化バージョンを導出し、それを屋内 LiDAR データを使用したマルチロボットの確率的マッピングに適用します。

要約(オリジナル)

Developing efficient solutions for inference problems in intelligent sensor networks is crucial for the next generation of location, tracking, and mapping services. This paper develops a scalable distributed probabilistic inference algorithm that applies to continuous variables, intractable posteriors and large-scale real-time data in sensor networks. In a centralized setting, variational inference is a fundamental technique for performing approximate Bayesian estimation, in which an intractable posterior density is approximated with a parametric density. Our key contribution lies in the derivation of a separable lower bound on the centralized estimation objective, which enables distributed variational inference with one-hop communication in a sensor network. Our distributed evidence lower bound (DELBO) consists of a weighted sum of observation likelihood and divergence to prior densities, and its gap to the measurement evidence is due to consensus and modeling errors. To solve binary classification and regression problems while handling streaming data, we design an online distributed algorithm that maximizes DELBO, and specialize it to Gaussian variational densities with non-linear likelihoods. The resulting distributed Gaussian variational inference (DGVI) efficiently inverts a $1$-rank correction to the covariance matrix. Finally, we derive a diagonalized version for online distributed inference in high-dimensional models, and apply it to multi-robot probabilistic mapping using indoor LiDAR data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google