Piecewise deterministic generative models

要約

我々は、決定論的な動きとランダムな時間でのランダムなジャンプから構成される非拡散確率過程のファミリーである区分的決定論的マルコフ過程（PDMP）に基づく新しいクラスの生成モデルを導入します。
拡散と同様に、このようなマルコフ過程では時間の逆転が起こり、それが PDMP であることが判明します。
この観察を、文献で検討されている 3 つの PDMP、ジグザグ プロセス、弾性粒子サンプラー、およびランダム化ハミルトニアン モンテカルロに適用します。
これら 3 つの特定のインスタンスについて、対応する時間反転のジャンプ レートとカーネルが、ジャンプの前後で考慮されている PDMP の条件付き密度に応じて明示的な表現を許容することを示します。
これらの結果に基づいて、これらの特性を学習するための効率的な訓練手順を提案し、逆のプロセスを近似的にシミュレートする方法を検討します。
最後に、基本分布が標準の $d$ 次元ガウス分布である場合の、データ分布とモデルの結果の分布との間の合計変動距離の境界を提供します。
有望な数値シミュレーションは、このクラスのモデルのさらなる研究をサポートします。

要約(オリジナル)

We introduce a novel class of generative models based on piecewise deterministic Markov processes (PDMPs), a family of non-diffusive stochastic processes consisting of deterministic motion and random jumps at random times. Similarly to diffusions, such Markov processes admit time reversals that turn out to be PDMPs as well. We apply this observation to three PDMPs considered in the literature: the Zig-Zag process, Bouncy Particle Sampler, and Randomised Hamiltonian Monte Carlo. For these three particular instances, we show that the jump rates and kernels of the corresponding time reversals admit explicit expressions depending on some conditional densities of the PDMP under consideration before and after a jump. Based on these results, we propose efficient training procedures to learn these characteristics and consider methods to approximately simulate the reverse process. Finally, we provide bounds in the total variation distance between the data distribution and the resulting distribution of our model in the case where the base distribution is the standard $d$-dimensional Gaussian distribution. Promising numerical simulations support further investigations into this class of models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google