Riemannian Laplace Approximation with the Fisher Metric

要約

ラプラス法は、そのモードでのガウス分布を使用してターゲット密度を近似します。
これは計算効率が高く、バーンスタイン・フォン・ミーゼスの定理によりベイズ推論に対して漸近的に正確ですが、複雑なターゲットや有限データの事後関数の場合、多くの場合、粗すぎる近似になります。
ラプラス近似の最近の一般化では、選択されたリーマン幾何学に従ってガウス近似が変換され、計算効率を維持しながら、より豊富な近似ファミリーが提供されます。
ただし、ここに示すように、そのプロパティは選択したメトリックに大きく依存します。実際、以前の研究で採用されたメトリックでは、近似値が過度に狭くなり、無限データの限界でも偏りが生じます。
私たちは、近似ファミリーをさらに開発し、無限データの限界で正確な 2 つの代替バリアントを導き出し、メソッドの理論的分析を拡張し、さまざまな実験で実際的な改善を実証することによって、この欠点を修正します。

要約(オリジナル)

Laplace’s method approximates a target density with a Gaussian distribution at its mode. It is computationally efficient and asymptotically exact for Bayesian inference due to the Bernstein-von Mises theorem, but for complex targets and finite-data posteriors it is often too crude an approximation. A recent generalization of the Laplace Approximation transforms the Gaussian approximation according to a chosen Riemannian geometry providing a richer approximation family, while still retaining computational efficiency. However, as shown here, its properties depend heavily on the chosen metric, indeed the metric adopted in previous work results in approximations that are overly narrow as well as being biased even at the limit of infinite data. We correct this shortcoming by developing the approximation family further, deriving two alternative variants that are exact at the limit of infinite data, extending the theoretical analysis of the method, and demonstrating practical improvements in a range of experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google