Variational Inference with Coverage Guarantees

要約

償却変分推論は、新しい観測が与えられた場合に事後近似を計算できる事後近似器を生成します。
残念ながら、これらの近似事後分布の品質についての保証はほとんどありません。
我々は、スケーラブルで簡単に実装でき、保証された限界範囲を提供する、Conformalized Amortized Neural variational Inference (CANVI) を提案します。
候補の償却事後近似器のコレクションが与えられると、CANVI は各候補に基づいて等角化予測器を構築し、予測効率として知られる指標を使用して予測器を比較し、最も効率的な予測器を返します。
CANVI は、結果の予測子が高い確率で真実を含む領域を構築することを保証します (正確にどれくらいの確率がユーザーによって事前に指定されるか)。
CANVI は、候補近似器を定式化する際の設計上の決定に依存せず、フォワード モデルからのサンプルへのアクセスのみを必要とするため、尤度のない設定での使用が可能になります。
CANVI によって生成される領域の予測効率の下限を証明し、事後近似の品質がその近似に基づく予測領域の予測効率にどのように関係するかを調査します。
最後に、一連のシミュレーション ベースの推論ベンチマーク タスクと重要な科学的タスクである銀河発光スペクトルの分析において、CANVI の正確なキャリブレーションと高い予測効率を実証します。

要約(オリジナル)

Amortized variational inference produces a posterior approximator that can compute a posterior approximation given any new observation. Unfortunately, there are few guarantees about the quality of these approximate posteriors. We propose Conformalized Amortized Neural Variational Inference (CANVI), a procedure that is scalable, easily implemented, and provides guaranteed marginal coverage. Given a collection of candidate amortized posterior approximators, CANVI constructs conformalized predictors based on each candidate, compares the predictors using a metric known as predictive efficiency, and returns the most efficient predictor. CANVI ensures that the resulting predictor constructs regions that contain the truth with high probability (exactly how high is prespecified by the user). CANVI is agnostic to design decisions in formulating the candidate approximators and only requires access to samples from the forward model, permitting its use in likelihood-free settings. We prove lower bounds on the predictive efficiency of the regions produced by CANVI and explore how the quality of a posterior approximation relates to the predictive efficiency of prediction regions based on that approximation. Finally, we demonstrate the accurate calibration and high predictive efficiency of CANVI on a suite of simulation-based inference benchmark tasks and an important scientific task: analyzing galaxy emission spectra.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google