Implicit Maximum a Posteriori Filtering via Adaptive Optimization

要約

ベイジアン フィルタリングは、明示的な生成モデルを反転してノイズの多い測定値を状態推定値に変換することにより、時変システムの真の根本的な動作を近似します。
このプロセスは通常、大きな行列の保存、逆変換、乗算、またはモンテカルロ推定のいずれかを必要としますが、どちらも人工ニューラル ネットワークの重み空間などの高次元状態空間では実用的ではありません。
ここでは、標準的なベイジアン フィルタリング問題を、時間とともに変化する目標に対する最適化として組み立てます。
フィルター方程式の行列を維持したり、粒子をシミュレートしたりする代わりに、ベイジアン フィルターを暗黙的に定義するオプティマイザーを指定します。
線形ガウス設定では、K ステップの勾配降下法を使用して、すべてのカルマン フィルターが同等の定式化を持つことを示します。
非線形設定では、私たちの実験により、ベイジアン フィルタリング ソリューションの標準ツールボックスと比較して、私たちのフレームワークが効果的で堅牢かつ高次元システムに拡張可能なフィルターが得られることが実証されました。
私たちは、正しいフィルタリング方程式を指定するよりもオプティマイザを微調整する方が簡単であるため、私たちのフレームワークが高次元のフィルタリング問題にとって魅力的な選択肢になることを提案します。

要約(オリジナル)

Bayesian filtering approximates the true underlying behavior of a time-varying system by inverting an explicit generative model to convert noisy measurements into state estimates. This process typically requires either storage, inversion, and multiplication of large matrices or Monte Carlo estimation, neither of which are practical in high-dimensional state spaces such as the weight spaces of artificial neural networks. Here, we frame the standard Bayesian filtering problem as optimization over a time-varying objective. Instead of maintaining matrices for the filtering equations or simulating particles, we specify an optimizer that defines the Bayesian filter implicitly. In the linear-Gaussian setting, we show that every Kalman filter has an equivalent formulation using K steps of gradient descent. In the nonlinear setting, our experiments demonstrate that our framework results in filters that are effective, robust, and scalable to high-dimensional systems, comparing well against the standard toolbox of Bayesian filtering solutions. We suggest that it is easier to fine-tune an optimizer than it is to specify the correct filtering equations, making our framework an attractive option for high-dimensional filtering problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google