Efficient and Training-Free Control of Language Generation

要約

近年、制御可能な属性を持つテキストを生成できる言語モデルの開発への関心が高まっています。
いくつかのアプローチが提案されていますが、これらの方法の多くは、条件固有のデータまたは重要な計算リソースを必要とします。
この研究では、学習データを必要とせずに制御可能な言語生成を可能にし、高速な生成速度を維持する、ガンマ サンプリングと呼ばれる新しい方法を提案します。
ガンマ サンプリングは、属性関連の情報をサンプリング プロセスに組み込み、言語モデルが目的の属性を持つテキストを生成するように効果的に導きます。
私たちの実験結果は、ガンマ サンプリングを GPT2 に適用すると、生成されたサンプルの多様性、属性の関連性、および全体的な品質の点で代表的なベースラインよりも優れていることを示しています。

要約(オリジナル)

In recent years, there has been a growing interest in the development of language models capable of generating text with controllable attributes. While several approaches have been proposed, many of these methods require condition-specific data or significant computational resources. In this study, we propose a novel method called Gamma Sampling, which enables controllable language generation without the need for any training data and maintains a fast generation speed. Gamma Sampling incorporates attribute-related information into the sampling process, effectively guiding the language model to produce text with desired attributes. Our experimental results demonstrate that Gamma Sampling, when applied to GPT2, outperforms representative baselines in terms of diversity, attribute relevance, and overall quality of the generated samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google