Controllable Text Generation with Residual Memory Transformer

要約

GPT3 や ChatGPT などの大規模因果言語モデル (CLM) は、テキスト生成に大きな成功をもたらしました。
ただし、柔軟性、制御の粒度、生成効率のバランスをとりながら CLM の生成プロセスを制御することは、依然として未解決の課題です。
この論文では、任意のタイム ステップでの CLM の生成を伴う非侵入的で軽量な制御プラグインを設計することにより、制御可能なテキスト生成 (CTG) の新しい代替手段を提供します。
提案された制御プラグイン、すなわち Residual Memory Transformer (RMT) にはエンコーダとデコーダのセットアップがあり、あらゆる種類の制御条件を受け入れ、残差学習パラダイムを通じて CLM と連携して、より柔軟で汎用的、効率的な CTG を実現できます。
さまざまな制御タスクについて、自動評価と人間による評価の両方の形で広範な実験が実行されます。
結果は、さまざまな最先端のアプローチに対する RMT の優位性を示しており、私たちのアプローチの有効性と多用途性を証明しています。

要約(オリジナル)

Large-scale Causal Language Models (CLMs), e.g., GPT3 and ChatGPT, have brought great success in text generation. However, it is still an open challenge to control the generation process of CLM while balancing flexibility, control granularity, and generation efficiency. In this paper, we provide a new alternative for controllable text generation (CTG), by designing a non-intrusive, lightweight control plugin to accompany the generation of CLM at arbitrary time steps. The proposed control plugin, namely Residual Memory Transformer (RMT), has an encoder-decoder setup, which can accept any types of control conditions and cooperate with CLM through a residual learning paradigm, to achieve a more flexible, general, and efficient CTG. Extensive experiments are carried out on various control tasks, in the form of both automatic and human evaluations. The results show the superiority of RMT over a range of state-of-the-art approaches, proving the effectiveness and versatility of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google