PFGM++: Unlocking the Potential of Physics-Inspired Generative Models

要約

我々は、拡散モデルとポアソンフロー生成モデル(PFGM)を統合した、PFGM++と呼ばれる物理学にヒントを得た新しい生成モデルのファミリーを紹介する。これらのモデルは、$N$次元のデータに対して、$N{+}D$次元の空間に経路を埋め込むことで生成軌道を実現するが、$D$個の追加変数の単純なスカラーノルムで進行を制御することが可能である。この新しいモデルは、$D{=}1$ではPFGMに、$D{to}infty$では拡散モデルに帰着する。D$を柔軟に選択することにより、データと付加変数規範の間の結合がより濃縮されるため、頑健性と硬直性をトレードオフすることができる。PFGMで使用される偏った大きなバッチフィールドの目標を捨て、代わりに拡散モデルに似た不偏の摂動に基づいた目標を提供する。D$の異なる選択を探索するために、拡散モデル($D{to} \infty$)から任意の有限$D$値によく調整されたハイパーパラメータを転送する直接アライメント法を提供する。CIFAR-10/FFHQ $64{times}64$データセットにおいて、$D{=}2048/128$のとき、FIDスコアが$1.91/2.43$となり、有限$D$のモデルがこれまでの最先端拡散モデルより優れていることを実験的に示す。さらに、$D$が小さいモデルはモデル化誤差に対する頑健性が向上することを示す。コードは https://github.com/Newbeeer/pfgmpp から入手可能である．

要約(オリジナル)

We introduce a new family of physics-inspired generative models termed PFGM++ that unifies diffusion models and Poisson Flow Generative Models (PFGM). These models realize generative trajectories for $N$ dimensional data by embedding paths in $N{+}D$ dimensional space while still controlling the progression with a simple scalar norm of the $D$ additional variables. The new models reduce to PFGM when $D{=}1$ and to diffusion models when $D{\to}\infty$. The flexibility of choosing $D$ allows us to trade off robustness against rigidity as increasing $D$ results in more concentrated coupling between the data and the additional variable norms. We dispense with the biased large batch field targets used in PFGM and instead provide an unbiased perturbation-based objective similar to diffusion models. To explore different choices of $D$, we provide a direct alignment method for transferring well-tuned hyperparameters from diffusion models ($D{\to} \infty$) to any finite $D$ values. Our experiments show that models with finite $D$ can be superior to previous state-of-the-art diffusion models on CIFAR-10/FFHQ $64{\times}64$ datasets, with FID scores of $1.91/2.43$ when $D{=}2048/128$. In addition, we demonstrate that models with smaller $D$ exhibit improved robustness against modeling errors. Code is available at https://github.com/Newbeeer/pfgmpp

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL