Unlocking Anticipatory Text Generation: A Constrained Approach for Large Language Models Decoding

要約

大規模言語モデル（LLM）は、テキスト生成において強力な能力を発揮する。しかし、与えられたプロンプトや指示で最適な結果を得ることは、特に10億サイズのモデルにとっては困難である。さらに、毒性や幻覚のような望ましくない行動が現れることもある。より大規模なモデル（例えばChatGPT）は、これらの問題を軽減する上で強みを発揮するかもしれないが、それでも完全な予防の保証はない。本研究では、望ましくない振る舞いを最小化し、命令に忠実であることを強制するために、テキスト生成を将来制約付き生成問題として定式化することを提案する。LLMを用いて達成される将来制約充足の推定が、テキスト生成プロセスを導く。我々の広範な実験により、3つの異なるテキスト生成タスク：キーワード制約付き生成(Lin et al., 2020)、毒性削減(Gehman et al., 2020)、質問応答における事実の正しさ(Gao et al., 2023)において、提案アプローチの有効性が実証された。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated a powerful ability for text generation. However, achieving optimal results with a given prompt or instruction can be challenging, especially for billion-sized models. Additionally, undesired behaviors such as toxicity or hallucinations can manifest. While much larger models (e.g., ChatGPT) may demonstrate strength in mitigating these issues, there is still no guarantee of complete prevention. In this work, we propose formalizing text generation as a future-constrained generation problem to minimize undesirable behaviors and enforce faithfulness to instructions. The estimation of future constraint satisfaction, accomplished using LLMs, guides the text generation process. Our extensive experiments demonstrate the effectiveness of the proposed approach across three distinct text generation tasks: keyword-constrained generation (Lin et al., 2020), toxicity reduction (Gehman et al., 2020), and factual correctness in question-answering (Gao et al., 2023).

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL