Massively Parallel Reweighted Wake-Sleep

要約

Reweighted wake-sleep (RWS) は、非常に一般的なクラスのモデルでベイズ推論を実行するための機械学習手法です。
RWS は、基礎となる近似事後分布から $K$ サンプルを抽出し、重要度の重み付けを使用して真の事後分布のより適切な推定を提供します。
次に、RWS は、真の事後値の重要度で重み付けされた推定値に向かって近似事後値を更新します。
ただし、最近の研究 [Chattergee and Diaconis、2018] では、効果的な重要度の重み付けに必要なサンプルの数は、潜在変数の数において指数関数的であることが示されています。
このように多数の重要なサンプルを取得することは、最小のモデルを除くすべてのモデルでは困難です。
ここでは、大規模並列 RWS を開発します。これは、すべての $n$ 潜在変数の $K$ サンプルを抽出し、サンプルのすべての $K^n$ の可能な組み合わせについて個別に推論することで、この問題を回避します。
$K^n$ の組み合わせを推論するのは手に負えないように思えるかもしれませんが、生成モデルの条件付き独立性を利用することで、必要な計算を多項式時間で実行できます。
フルジョイントから $K$ サンプルを抽出する標準の「グローバル」RWS に比べて、大幅な改善が見られます。

要約(オリジナル)

Reweighted wake-sleep (RWS) is a machine learning method for performing Bayesian inference in a very general class of models. RWS draws $K$ samples from an underlying approximate posterior, then uses importance weighting to provide a better estimate of the true posterior. RWS then updates its approximate posterior towards the importance-weighted estimate of the true posterior. However, recent work [Chattergee and Diaconis, 2018] indicates that the number of samples required for effective importance weighting is exponential in the number of latent variables. Attaining such a large number of importance samples is intractable in all but the smallest models. Here, we develop massively parallel RWS, which circumvents this issue by drawing $K$ samples of all $n$ latent variables, and individually reasoning about all $K^n$ possible combinations of samples. While reasoning about $K^n$ combinations might seem intractable, the required computations can be performed in polynomial time by exploiting conditional independencies in the generative model. We show considerable improvements over standard ‘global’ RWS, which draws $K$ samples from the full joint.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google