Langevin Diffusion Variational Inference

要約

調整されていないランジュバン遷移に基づいて強力な変分分布を構築する多くの方法が存在します。
これらのほとんどは、さまざまなアプローチとテクニックを使用して開発されました。
残念ながら、統一された分析と導出が行われていないため、新しい方法を開発したり、既存の方法を推論したりすることが困難な作業になっています。
これらの既存の手法を統合および一般化する単一の分析を提供して、これに対処します。
主なアイデアは、減衰不足のランジュバン拡散プロセスとその時間反転を数値的にシミュレートすることにより、ターゲットと変分を増強することです。
このアプローチの利点は 2 つあります。多くの既存の方法に統一された定式化を提供し、新しい方法の開発を簡素化します。
実際、私たちの定式化を使用して、既存のアルゴリズムの長所を組み合わせた新しい方法を提案します。
減衰不足のランジュバン遷移と、スコア ネットワークによってパラメータ化された強力な増強を使用します。
私たちの経験的評価は、提案された方法が幅広いタスクで関連するベースラインよりも一貫して優れていることを示しています。

要約(オリジナル)

Many methods that build powerful variational distributions based on unadjusted Langevin transitions exist. Most of these were developed using a wide range of different approaches and techniques. Unfortunately, the lack of a unified analysis and derivation makes developing new methods and reasoning about existing ones a challenging task. We address this giving a single analysis that unifies and generalizes these existing techniques. The main idea is to augment the target and variational by numerically simulating the underdamped Langevin diffusion process and its time reversal. The benefits of this approach are twofold: it provides a unified formulation for many existing methods, and it simplifies the development of new ones. In fact, using our formulation we propose a new method that combines the strengths of previously existing algorithms; it uses underdamped Langevin transitions and powerful augmentations parameterized by a score network. Our empirical evaluation shows that our proposed method consistently outperforms relevant baselines in a wide range of tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google