Edit Flows: Flow Matching with Edit Operations

要約

自己回帰の生成モデルは、自然に可変長シーケンスを自然に生成しますが、非自動性モデルは苦労し、しばしば剛性のあるトークンごとの構造を課します。
編集操作、削除、および置換を介してシーケンス上の個別のフローを定義することにより、これらの制限を克服する非自動網性モデルである編集フローを提案します。
シーケンススペースを介した連続時間マルコフチェーン内でこれらの操作をモデル化することにより、編集フローを有効にして、シーケンスデータの構造とより密接に整合する柔軟で位置関連の生成を可能にします。
当社のトレーニング方法は、補助変数を使用して拡張された状態空間を活用して、学習プロセスを効率的かつ扱いやすくします。
経験的結果は、編集フローが画像キャプションのモデルとマスクモデルの両方を上回り、テキストとコード生成のマスク構造を大幅に上回ることを示しています。

要約(オリジナル)

Autoregressive generative models naturally generate variable-length sequences, while non-autoregressive models struggle, often imposing rigid, token-wise structures. We propose Edit Flows, a non-autoregressive model that overcomes these limitations by defining a discrete flow over sequences through edit operations-insertions, deletions, and substitutions. By modeling these operations within a Continuous-time Markov Chain over the sequence space, Edit Flows enable flexible, position-relative generation that aligns more closely with the structure of sequence data. Our training method leverages an expanded state space with auxiliary variables, making the learning process efficient and tractable. Empirical results show that Edit Flows outperforms both autoregressive and mask models on image captioning and significantly outperforms the mask construction in text and code generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google