TEncDM: Understanding the Properties of Diffusion Model in the Space of Language Model Encodings

要約

この論文では、事前にトレーニングされた言語モデル エンコーディングの空間で動作する、拡散モデリングへの新しいアプローチであるテキスト エンコーディング拡散モデル (TEncDM) について説明します。
従来使用されていた埋め込みとは対照的に、エンコーディングはコンテキスト情報を統合します。
私たちのアプローチでは、トークン予測プロセスにコンテキストを組み込むように特別に設計されたトランスフォーマーベースのデコーダーも採用しています。
エンコーダ、デコーダ、ノイズスケジューラ、セルフコンディショニングがゼロショットの生成に与える影響を総合的に調査します。
さらに、QQP、XSum、Wiki-Auto という 3 つの条件付きテキスト生成タスクについて、TEncDM を以前のアプローチと比較します。
結果は、TEncDM が既存の非自己回帰拡散モデルと比較して優れたパフォーマンスを示すことを示しています。

要約(オリジナル)

This paper presents the Text Encoding Diffusion Model (TEncDM), a novel approach to diffusion modeling that operates in the space of pre-trained language model encodings. In contrast to traditionally used embeddings, encodings integrate contextual information. In our approach, we also employ a transformer-based decoder, specifically designed to incorporate context in the token prediction process. We conduct a comprehensive examination of the influence of the encoder, decoder, noise scheduler, and self-conditioning on zero-shot generation. Furthermore, we compare TEncDM with previous approaches on three conditional text generation tasks: QQP, XSum, and Wiki-Auto. The results show that TEncDM exhibits superior performance compared to existing non-autoregressive diffusion models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google