Fisher Flow Matching for Generative Modeling over Discrete Data

要約

離散データに対する生成モデリングは、最近、言語モデリング、生物学的配列設計、グラフ構造の分子データに及ぶアプリケーションで、数多くの成功事例を目にしています。
離散データの主流の生成モデリング パラダイムは依然として自己回帰的であり、拡散またはフロー マッチングに基づく最近の代替案は、画像やビデオの生成などの連続データ設定における優れたパフォーマンスには及ばない。
この研究では、離散データの新しいフロー マッチング モデルである Fisher-Flow を紹介します。
Fisher-Flow は、離散データ上のカテゴリ分布を、自然リーマン計量 $\textit{Fisher-Rao 計量}$ を備えた統計的多様体上に存在する点として考慮することにより、明らかに幾何学的な観点を採用しています。
その結果、離散データ自体を $d$ 超球 $\mathbb{S}^d_+$ の正のオルタント上の点に継続的に再パラメータ化できることを実証しました。これにより、ソース分布をターゲットにマッピングするフローを定義できるようになります。
$\mathbb{S}^d_+$ の (閉形式) 測地線に沿って質量を輸送するという原則的な方法で。
さらに、Fisher-Flow で学習されたフローは、リーマン最適輸送を活用することでさらにブートストラップでき、トレーニング ダイナミクスの向上につながります。
我々は、Fisher-Flow によって引き起こされる勾配流が前方 KL 発散の低減に最適であることを証明します。
DNA プロモーターおよび DNA エンハンサー シーケンスの設計を含む、一連の合成および多様な現実世界のベンチマークで Fisher-Flow を評価します。
これらのベンチマークでは、Fisher-Flow が以前の拡散モデルおよびフローマッチングモデルよりも改善されていることが経験的にわかります。

要約(オリジナル)

Generative modeling over discrete data has recently seen numerous success stories, with applications spanning language modeling, biological sequence design, and graph-structured molecular data. The predominant generative modeling paradigm for discrete data is still autoregressive, with more recent alternatives based on diffusion or flow-matching falling short of their impressive performance in continuous data settings, such as image or video generation. In this work, we introduce Fisher-Flow, a novel flow-matching model for discrete data. Fisher-Flow takes a manifestly geometric perspective by considering categorical distributions over discrete data as points residing on a statistical manifold equipped with its natural Riemannian metric: the $\textit{Fisher-Rao metric}$. As a result, we demonstrate discrete data itself can be continuously reparameterised to points on the positive orthant of the $d$-hypersphere $\mathbb{S}^d_+$, which allows us to define flows that map any source distribution to target in a principled manner by transporting mass along (closed-form) geodesics of $\mathbb{S}^d_+$. Furthermore, the learned flows in Fisher-Flow can be further bootstrapped by leveraging Riemannian optimal transport leading to improved training dynamics. We prove that the gradient flow induced by Fisher-Flow is optimal in reducing the forward KL divergence. We evaluate Fisher-Flow on an array of synthetic and diverse real-world benchmarks, including designing DNA Promoter, and DNA Enhancer sequences. Empirically, we find that Fisher-Flow improves over prior diffusion and flow-matching models on these benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google