Dirichlet Flow Matching with Applications to DNA Sequence Design

要約

離散拡散または流動モデルは、自己回帰モデルよりも高速かつ制御可能なシーケンス生成を可能にする可能性があります。
シンプレックス上での単純な線形フロー マッチングでは、トレーニング ターゲットの不連続性やさらなる病状が発生するため、この目標には不十分であることを示します。
これを克服するために、確率経路としてのディリクレ分布の混合に基づいたシンプレックス上でのディリクレ フロー マッチングを開発します。
このフレームワークでは、混合物のスコアとフローのベクトル場の間の関係を導き出し、分類器および分類器を使用しないガイダンスを可能にします。
さらに、蒸留ディリクレ フロー マッチングを提供します。これにより、パフォーマンス ヒットを最小限に抑えて 1 ステップのシーケンス生成が可能になり、自己回帰モデルと比較して $O(L)$ の高速化が実現します。
複雑な DNA 配列生成タスクでは、分布メトリクスおよび生成された配列の望ましい設計目標の達成において、すべてのベースラインと比較して優れたパフォーマンスを実証しました。
最後に、分類子を使用しない誘導アプローチが無条件生成を改善し、設計目標を満たす DNA を生成するのに効果的であることを示します。
コードは https://github.com/HannesStark/dirichlet-flow-matching で入手できます。

要約(オリジナル)

Discrete diffusion or flow models could enable faster and more controllable sequence generation than autoregressive models. We show that na\’ive linear flow matching on the simplex is insufficient toward this goal since it suffers from discontinuities in the training target and further pathologies. To overcome this, we develop Dirichlet flow matching on the simplex based on mixtures of Dirichlet distributions as probability paths. In this framework, we derive a connection between the mixtures’ scores and the flow’s vector field that allows for classifier and classifier-free guidance. Further, we provide distilled Dirichlet flow matching, which enables one-step sequence generation with minimal performance hits, resulting in $O(L)$ speedups compared to autoregressive models. On complex DNA sequence generation tasks, we demonstrate superior performance compared to all baselines in distributional metrics and in achieving desired design targets for generated sequences. Finally, we show that our classifier-free guidance approach improves unconditional generation and is effective for generating DNA that satisfies design targets. Code is available at https://github.com/HannesStark/dirichlet-flow-matching.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google