Diffusion Density Estimators

要約

私たちは、神経密度推定器としての拡散モデルの使用を調査します。
この問題に対する現在のアプローチには、確率フロー ODE として知られる、生成プロセスを滑らかなフローに変換することが含まれます。
特定のサンプルでの対数密度は、ブラック ボックス ソルバーを使用して ODE を解くことによって取得できます。
フローを解決せずにログ密度を計算する、高度に並列化可能な新しいメソッドを導入します。
私たちのアプローチは、拡散モデルのシミュレーションフリーのトレーニングと同じ方法で、モンテカルロによる経路積分を推定することに基づいています。
また、さまざまなトレーニング パラメーターが密度計算の精度にどのような影響を与えるかを研究し、これらのモデルをよりスケーラブルかつ効率的にする方法についての洞察を提供します。

要約(オリジナル)

We investigate the use of diffusion models as neural density estimators. The current approach to this problem involves converting the generative process to a smooth flow, known as the Probability Flow ODE. The log density at a given sample can be obtained by solving the ODE with a black-box solver. We introduce a new, highly parallelizable method that computes log densities without the need to solve a flow. Our approach is based on estimating a path integral by Monte Carlo, in a manner identical to the simulation-free training of diffusion models. We also study how different training parameters affect the accuracy of the density calculation, and offer insights into how these models can be made more scalable and efficient.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google