Generative Flows on Discrete State-Spaces: Enabling Multimodal Flows with Applications to Protein Co-Design

要約

離散データと連続データを結合することは、生成モデルの重要な機能です。
離散フロー モデル (DFM) は、フローベースの生成モデルをマルチモーダルな連続データと離散データの問題に適用できるようにするためのミッシング リンクを提供する、離散データの新しいフローベースのモデルです。
私たちの重要な洞察は、連続空間流マッチングに相当する離散的同等のものが連続時間マルコフ連鎖を使用して実現できるということです。
DFM は、特定のインスタンスとして離散拡散モデルを含む単純な導出の恩恵を受けると同時に、既存の拡散ベースのアプローチよりもパフォーマンスを向上させることができます。
DFM メソッドを利用して、マルチモーダルなフローベースのモデリング フレームワークを構築します。
私たちはこの機能をタンパク質の共同設計のタスクに適用し、タンパク質の構造と配列を共同で生成するためのモデルを学習します。
私たちのアプローチは、同じマルチモーダル モデルを使用してシーケンスや構造を柔軟に生成できるようにしながら、最先端の共同設計パフォーマンスを実現します。

要約(オリジナル)

Combining discrete and continuous data is an important capability for generative models. We present Discrete Flow Models (DFMs), a new flow-based model of discrete data that provides the missing link in enabling flow-based generative models to be applied to multimodal continuous and discrete data problems. Our key insight is that the discrete equivalent of continuous space flow matching can be realized using Continuous Time Markov Chains. DFMs benefit from a simple derivation that includes discrete diffusion models as a specific instance while allowing improved performance over existing diffusion-based approaches. We utilize our DFMs method to build a multimodal flow-based modeling framework. We apply this capability to the task of protein co-design, wherein we learn a model for jointly generating protein structure and sequence. Our approach achieves state-of-the-art co-design performance while allowing the same multimodal model to be used for flexible generation of the sequence or structure.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google