Flexible-length Text Infilling for Discrete Diffusion Models

要約

離散拡散モデルは、自己回帰モデルと比較して、双方向コンテキストの使用、並列化可能な生成、柔軟なプロンプトなどの利点を提供する新しいクラスのテキストジェネレーターです。
ただし、離散拡散モデルの重大な制限は、地上の真実の位置データにアクセスすることなく浸透する柔軟な長さまたは柔軟なポジションテキストを実行できないことです。
\ textbf {ddot}（\ textbf {d} iscrete \ textbf {d} ifusion with \ textbf {o} ptimal \ textbf {t} ransport position coupling）を紹介します。
DDOTは、トークン値とトークン位置を共同で除去し、新しいサンプルレベルの最適輸送（OT）カップリングを採用しています。
この結合は、充填されたセグメントの位置と長さを動的に調整しながら、トークンの順序付けを保存します。
私たちの方法は、既存の個別のテキスト拡散法に直交しており、さまざまな前提条件のテキスト除去者と互換性があります。
1億語やYelpなどのテキスト充填ベンチマークに関する広範な実験は、DDOTがナイーブ拡散ベースラインを上回ることを示しています。
さらに、DDOTは、最先端の非自動性モデルと同等のパフォーマンスを達成し、トレーニングの効率と柔軟性の大幅な改善を可能にします。

要約(オリジナル)

Discrete diffusion models are a new class of text generators that offer advantages such as bidirectional context use, parallelizable generation, and flexible prompting compared to autoregressive models. However, a critical limitation of discrete diffusion models is their inability to perform flexible-length or flexible-position text infilling without access to ground-truth positional data. We introduce \textbf{DDOT} (\textbf{D}iscrete \textbf{D}iffusion with \textbf{O}ptimal \textbf{T}ransport Position Coupling), the first discrete diffusion model to overcome this challenge. DDOT jointly denoises token values and token positions, employing a novel sample-level Optimal Transport (OT) coupling. This coupling preserves relative token ordering while dynamically adjusting the positions and length of infilled segments, a capability previously missing in text diffusion. Our method is orthogonal to existing discrete text diffusion methods and is compatible with various pretrained text denoisers. Extensive experiments on text infilling benchmarks such as One-Billion-Word and Yelp demonstrate that DDOT outperforms naive diffusion baselines. Furthermore, DDOT achieves performance on par with state-of-the-art non-autoregressive models and enables significant improvements in training efficiency and flexibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google