Generative Marginalization Models

要約

高次元離散データの新しい生成モデル ファミリである周辺化モデル (MaM) を紹介します。
すべての誘導された周辺分布を明示的にモデル化することで、扱いやすい尤度を備えたスケーラブルで柔軟な生成モデリングを提供します。
周縁化モデルを使用すると、ニューラル ネットワークの 1 回の順方向パスで任意の周縁確率を高速に評価できます。これにより、自己回帰モデル (ARM) などの正確な周縁推論による手法の大きな制限が克服されます。
私たちは、「周縁化の自己一貫性」の概念に基づいて、周縁を学習するためのスケーラブルな方法を提案します。
以前の方法とは異なり、MaM は、エネルギーベースのトレーニングの設定の下で、高次元の問題に対する任意の次数の生成モデルのスケーラブルなトレーニングをサポートします。目標は、学習された分布を所与の望ましい確率 (非正規化 (対数) で指定) に一致させることです。
エネルギー関数や報酬関数などの確率関数)。
バイナリ画像、言語、物理システム、分子などのさまざまな離散データ分布に対する、最尤およびエネルギーベースのトレーニング設定に対する提案されたモデルの有効性を実証します。
MaM は、両方の設定で限界確率を評価する際に桁違いの高速化を達成します。
エネルギーベースのトレーニング タスクの場合、MaM を使用すると、以前の方法の能力を超えた高次元の問題の任意の次数の生成モデリングが可能になります。
コードは https://github.com/PrincetonLIPS/MaM にあります。

要約(オリジナル)

We introduce marginalization models (MaMs), a new family of generative models for high-dimensional discrete data. They offer scalable and flexible generative modeling with tractable likelihoods by explicitly modeling all induced marginal distributions. Marginalization models enable fast evaluation of arbitrary marginal probabilities with a single forward pass of the neural network, which overcomes a major limitation of methods with exact marginal inference, such as autoregressive models (ARMs). We propose scalable methods for learning the marginals, grounded in the concept of ‘marginalization self-consistency’. Unlike previous methods, MaMs support scalable training of any-order generative models for high-dimensional problems under the setting of energy-based training, where the goal is to match the learned distribution to a given desired probability (specified by an unnormalized (log) probability function such as energy function or reward function). We demonstrate the effectiveness of the proposed model on a variety of discrete data distributions, including binary images, language, physical systems, and molecules, for maximum likelihood and energy-based training settings. MaMs achieve orders of magnitude speedup in evaluating the marginal probabilities on both settings. For energy-based training tasks, MaMs enable any-order generative modeling of high-dimensional problems beyond the capability of previous methods. Code is at https://github.com/PrincetonLIPS/MaM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google