A Block Metropolis-Hastings Sampler for Controllable Energy-based Text Generation

要約

最近の研究では、エネルギーベースの言語モデリングは、任意の識別子の柔軟な統合を可能にするため、制御可能なテキスト生成のための効果的なフレームワークであることが示されています。
ただし、エネルギーベースの LM はグローバルに正規化されているため、推論にはメトロポリス ヘイスティングス (MH) のような近似手法が必要です。
過去の研究では、ギブス サンプリングのように、一度に 1 つのトークンを変更する単純な提案分布が主に研究されてきました。
この論文では、対照的に、大規模な言語モデルの反復プロンプトを介して各ステップでシーケンス全体を書き直すことを提案する新しい MH サンプラーを開発します。
私たちの新しいサンプラーは、(a) ターゲット分布からのより効率的かつ正確なサンプリングを可能にし、(b) 過去の研究では必要だったように事前に固定するのではなく、サンプリング手順を通じて世代の長さを決定できるようにします。
2 つの制御された生成タスクで実験を実行し、単一トークン提案手法と比較して、ダウンストリームのパフォーマンス向上とより正確なターゲット分布サンプリングの両方を示します。

要約(オリジナル)

Recent work has shown that energy-based language modeling is an effective framework for controllable text generation because it enables flexible integration of arbitrary discriminators. However, because energy-based LMs are globally normalized, approximate techniques like Metropolis-Hastings (MH) are required for inference. Past work has largely explored simple proposal distributions that modify a single token at a time, like in Gibbs sampling. In this paper, we develop a novel MH sampler that, in contrast, proposes re-writes of the entire sequence in each step via iterative prompting of a large language model. Our new sampler (a) allows for more efficient and accurate sampling from a target distribution and (b) allows generation length to be determined through the sampling procedure rather than fixed in advance, as past work has required. We perform experiments on two controlled generation tasks, showing both downstream performance gains and more accurate target distribution sampling in comparison with single-token proposal techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google