PAVI: Plate-Amortized Variational Inference

要約

観察されたデータと確率的生成モデルが与えられると、ベイジアン推論は、データを生成した可能性のあるモデルのパラメーターの分布を検索します。
推論は、数百人の被験者からなるコホートに対して数百万回の測定が実行される大規模な集団研究では困難であり、その結果、パラメータ空間が膨大になります。
この大きな基数により、既製の変分推論 (VI) は計算的に非実用的になります。
この研究では、大規模な集団研究に効率的に取り組む構造化 VI ファミリを設計します。
私たちの主なアイデアは、異なる i.i.d.間でパラメータ化と学習を共有することです。
生成モデル内の変数。モデルの \textit{plates} でシンボル化されます。
この概念を \textit{プレート償却} と名付けます。
推論が遅くなる既製の確率 VI とは対照的に、プレート償却では変分分布のトレーニングが桁違いに速くなります。
PAVI を大規模な階層問題に適用すると、手頃なトレーニング時間で、表現力豊かでパラメータ化された VI が得られます。
このより高速な収束により、これらの大規模な体制における推論が効果的に解き放たれます。
4 億の潜在パラメーターを特徴とする挑戦的なニューロイメージングの例を通じて PAVI の実用性を説明し、スケ​​ーラブルで表現力豊かな変分推論に向けた重要な一歩を実証します。

要約(オリジナル)

Given observed data and a probabilistic generative model, Bayesian inference searches for the distribution of the model’s parameters that could have yielded the data. Inference is challenging for large population studies where millions of measurements are performed over a cohort of hundreds of subjects, resulting in a massive parameter space. This large cardinality renders off-the-shelf Variational Inference (VI) computationally impractical. In this work, we design structured VI families that efficiently tackle large population studies. Our main idea is to share the parameterization and learning across the different i.i.d. variables in a generative model, symbolized by the model’s \textit{plates}. We name this concept \textit{plate amortization}. Contrary to off-the-shelf stochastic VI, which slows down inference, plate amortization results in orders of magnitude faster to train variational distributions. Applied to large-scale hierarchical problems, PAVI yields expressive, parsimoniously parameterized VI with an affordable training time. This faster convergence effectively unlocks inference in those large regimes. We illustrate the practical utility of PAVI through a challenging Neuroimaging example featuring 400 million latent parameters, demonstrating a significant step towards scalable and expressive Variational Inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google