Bayesian Flow Networks

要約

この論文では、新しいクラスの生成モデルであるベイジアン フロー ネットワーク (BFN) を紹介します。BFN では、一連の独立した分布のパラメーターが、ノイズの多いデータ サンプルを考慮してベイジアン推論で変更され、入力としてニューラル ネットワークに渡され、
2 つ目は相互依存分布です。
単純な事前分布から開始して 2 つの分布を反復的に更新すると、拡散モデルの逆プロセスと同様の生成手順が得られます。
ただし、前方プロセスが必要ないという点で概念的には単純です。
離散時間損失関数と連続時間損失関数は、サンプル生成手順とともに、連続、離散化、離散データに対して導出されます。
特に、離散データのネットワーク入力は確率単体上にあるため、ネイティブに微分可能であり、言語モデリングなどの離散領域での勾配ベースのサンプル ガイダンスや数ステップの生成への道を開きます。
損失関数はデータ圧縮を直接最適化し、ネットワーク アーキテクチャに制限を設けません。
私たちの実験では、BFN は動的に二値化された MNIST および CIFAR-10 の画像モデリングで競合する対数尤度を達成し、text8 文字レベル言語モデリング タスクでは既知のすべての離散拡散モデルを上回りました。

要約(オリジナル)

This paper introduces Bayesian Flow Networks (BFNs), a new class of generative model in which the parameters of a set of independent distributions are modified with Bayesian inference in the light of noisy data samples, then passed as input to a neural network that outputs a second, interdependent distribution. Starting from a simple prior and iteratively updating the two distributions yields a generative procedure similar to the reverse process of diffusion models; however it is conceptually simpler in that no forward process is required. Discrete and continuous-time loss functions are derived for continuous, discretised and discrete data, along with sample generation procedures. Notably, the network inputs for discrete data lie on the probability simplex, and are therefore natively differentiable, paving the way for gradient-based sample guidance and few-step generation in discrete domains such as language modelling. The loss function directly optimises data compression and places no restrictions on the network architecture. In our experiments BFNs achieve competitive log-likelihoods for image modelling on dynamically binarized MNIST and CIFAR-10, and outperform all known discrete diffusion models on the text8 character-level language modelling task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google