Tractable Control for Autoregressive Language Generation

要約

タイトル：可算制御が可能な自己回帰言語生成について

要約：
– 自己回帰大きな言語モデルによるテキスト生成が成功をおさめたにも関わらず、複雑な制約を満たすテキストを生成することは、$\alpha$と言う簡単なレキシカル制約すらサンプリングが不可能という大きな課題が残っています。
– この課題を乗り越えるため、私たちはレキシカル制約を自己回帰テキスト生成に課すための可算確率モデルを提案し、GeLaToと呼んでいます。
– このフレームワークの効果を示すために、GPT2から自己回帰生成を制御するために蒸留された隠れマルコフモデルを使用し、GeLaToは制約されたテキスト生成についての厳しい基準であるCommonGenで、広範な強いベースラインに大差をつけた最先端のパフォーマンスを達成しました。
– 私たちの研究は、大きな言語モデルを制御する新しい手法を開いただけでなく、より表現力豊かな可算確率モデルの開発を促すことも期待されます。

要約(オリジナル)

Despite the success of autoregressive large language models in text generation, it remains a major challenge to generate text that satisfies complex constraints: sampling from the conditional distribution $\Pr(\text{text} | \alpha)$ is intractable for even the simplest lexical constraints $\alpha$. To overcome this challenge, we propose to use tractable probabilistic models to impose lexical constraints in autoregressive text generation, which we refer to as GeLaTo. To demonstrate the effectiveness of this framework, we use distilled hidden Markov models to control autoregressive generation from GPT2. GeLaTo achieves state-of-the-art performance on CommonGen, a challenging benchmark for constrained text generation, beating a wide range of strong baselines by a large margin. Our work not only opens up new avenues for controlling large language models but also motivates the development of more expressive tractable probabilistic models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI