Tractable Control for Autoregressive Language Generation

要約

タイトル – オートレグレッシブ言語生成の扱いやすい制御
要約 –
– オートレグレッシブ大規模言語モデルのテキスト生成においては成功しているが、複雑な制約を満たすテキストを生成することは依然として大きな課題である。
– 最も簡単なレキシカル制約でも、条件付き分布$\Pr(\text{text} | \alpha)$からサンプリングすることは困難である。
– この課題を克服するために、扱いやすい確率モデルを使用して自己回帰テキスト生成においてレキシカル制約を課すことを提案する。
– このフレームワークの効果を示すために、GPT2から自己回帰生成を制御するために蒸留された隠れマルコフモデルを使用したGeLaToを提案する。
– GeLaToは、制約付きテキスト生成の難解なベンチマークであるCommonGenにおいて、幅広い強力なベースラインを大幅に上回り、最先端の性能を発揮する。
– この研究により、大規模言語モデルを制御する新しいアプローチが開かれるとともに、より表現力の高い扱いやすい確率モデルの開発を促すものとなる。

要約(オリジナル)

Despite the success of autoregressive large language models in text generation, it remains a major challenge to generate text that satisfies complex constraints: sampling from the conditional distribution $\Pr(\text{text} | \alpha)$ is intractable for even the simplest lexical constraints $\alpha$. To overcome this challenge, we propose to use tractable probabilistic models to impose lexical constraints in autoregressive text generation, which we refer to as GeLaTo. To demonstrate the effectiveness of this framework, we use distilled hidden Markov models to control autoregressive generation from GPT2. GeLaTo achieves state-of-the-art performance on CommonGen, a challenging benchmark for constrained text generation, beating a wide range of strong baselines by a large margin. Our work not only opens up new avenues for controlling large language models but also motivates the development of more expressive tractable probabilistic models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI