Unlocking Anticipatory Text Generation: A Constrained Approach for Faithful Decoding with Large Language Models

要約

大規模言語モデル (LLM) は、テキスト生成の強力な機能を実証しています。
ただし、特定のプロンプトや指示で最適な結果を達成することは、特に数十億規模のモデルの場合には困難になる可能性があります。
さらに、中毒や幻覚などの望ましくない行動が現れる場合があります。
はるかに大規模なモデル (ChatGPT など) は、これらの問題を軽減するのに強力である可能性がありますが、完全に防止できるという保証はまだありません。
この研究では、望ましくない動作を最小限に抑え、指示への忠実さを強制するために、テキスト生成を将来制約のある生成問題として形式化することを提案します。
LLM を使用して達成される将来の制約満足度の推定は、テキスト生成プロセスのガイドとなります。
私たちの広範な実験は、キーワード制約付き生成 (Lin et al., 2020)、有害性の低減 (Gehman et al., 2020)、および質問応答における事実の正しさ (Gao) という 3 つの異なるテキスト生成タスクにわたって、提案されたアプローチの有効性を実証しています。
ら、2023)。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated a powerful ability for text generation. However, achieving optimal results with a given prompt or instruction can be challenging, especially for billion-sized models. Additionally, undesired behaviors such as toxicity or hallucinations can manifest. While much larger models (e.g., ChatGPT) may demonstrate strength in mitigating these issues, there is still no guarantee of complete prevention. In this work, we propose formalizing text generation as a future-constrained generation problem to minimize undesirable behaviors and enforce faithfulness to instructions. The estimation of future constraint satisfaction, accomplished using LLMs, guides the text generation process. Our extensive experiments demonstrate the effectiveness of the proposed approach across three distinct text generation tasks: keyword-constrained generation (Lin et al., 2020), toxicity reduction (Gehman et al., 2020), and factual correctness in question-answering (Gao et al., 2023).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google