Distribution Transformers: Fast Approximate Bayesian Inference With On-The-Fly Prior Adaptation

要約

ベイズ推論は、不確実性の下で推論を行うための原理的な枠組みを提供するが、厳密な事後計算が困難であるため、近似推論を使用する必要があり、その普及には限界がある。しかし、既存の推論手法は計算コストが高く、また、事前分布が変化した場合に再トレーニングが必要となるため、特にリアルタイムセンサーフュージョンのような逐次推論問題においては、その有用性が制限される。このような課題を解決するために、我々は、任意の分布から分布へのマッピングを学習できる新しいアーキテクチャである分布変換器を紹介する。我々の手法は、あるデータセットを条件として、事前分布を対応する事後分布にマッピングするように学習することができ、これにより近似ベイズ推論を行うことができる。我々の新しいアーキテクチャは、事前分布を（普遍的に近似する）ガウス混合モデル（GMM）として表現し、それを事後分布のGMM表現に変換する。GMMの構成要素は、自己注意によって互いに、また相互注意によってデータポイントに注意を払う。我々は、分布変換が事前分布を変化させる柔軟性を維持し、計算時間を数分から数ミリ秒へと大幅に短縮する一方で、逐次推論、量子システムパラメータ推論、ハイパープリオールを用いたガウス過程予測事後推論などのタスクにおいて、既存の近似推論手法と同等以上の対数尤度性能を達成することを実証する。

要約(オリジナル)

While Bayesian inference provides a principled framework for reasoning under uncertainty, its widespread adoption is limited by the intractability of exact posterior computation, necessitating the use of approximate inference. However, existing methods are often computationally expensive, or demand costly retraining when priors change, limiting their utility, particularly in sequential inference problems such as real-time sensor fusion. To address these challenges, we introduce the Distribution Transformer — a novel architecture that can learn arbitrary distribution-to-distribution mappings. Our method can be trained to map a prior to the corresponding posterior, conditioned on some dataset — thus performing approximate Bayesian inference. Our novel architecture represents a prior distribution as a (universally-approximating) Gaussian Mixture Model (GMM), and transforms it into a GMM representation of the posterior. The components of the GMM attend to each other via self-attention, and to the datapoints via cross-attention. We demonstrate that Distribution Transformers both maintain flexibility to vary the prior, and significantly reduces computation times-from minutes to milliseconds-while achieving log-likelihood performance on par with or superior to existing approximate inference methods across tasks such as sequential inference, quantum system parameter inference, and Gaussian Process predictive posterior inference with hyperpriors.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL