KCTS: Knowledge-Constrained Tree Search Decoding with Token-Level Hallucination Detection

要約

大規模言語モデル (LLM) は、人間レベルの驚くべき自然言語生成機能を実証しました。
しかし、しばしば幻覚問題と呼ばれる、誤った情報を生成する可能性があり、その導入には重大なリスクが生じます。
この問題に対処する一般的なアプローチは、関連する知識を取得し、その知識を入力して LLM を微調整することです。
残念ながら、この方法ではトレーニング コストが高くつき、マルチタスク モデルの壊滅的な忘却を引き起こす可能性があります。
これらの制限を克服するために、KCTS (Knowledge-Constrained Tree Search) と呼ばれる知識制約型のデコード方法を提案します。これは、知識分類子スコアと MCTS (Monte-
カルロツリー検索)。
シーケンスレベルの知識分類器をトークンレベルのガイダンスに適応させるために、RIPA (報酬変曲点近似) と呼ばれる新しいトークンレベルの幻覚検出方法も提案します。
知識に基づいた対話と抽象的な要約に関する私たちの実証結果は、自然言語生成における幻覚を効果的に軽減できる、プラグアンドプレイでモデルに依存しない復号化方法としての KCTS の強みを実証しています。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated remarkable human-level natural language generation capabilities. However, their potential to generate misinformation, often called the hallucination problem, poses a significant risk to their deployment. A common approach to address this issue is to retrieve relevant knowledge and fine-tune the LLM with the knowledge in its input. Unfortunately, this method incurs high training costs and may cause catastrophic forgetting for multi-tasking models. To overcome these limitations, we propose a knowledge-constrained decoding method called KCTS (Knowledge-Constrained Tree Search), which guides a frozen LM to generate text aligned with the reference knowledge at each decoding step using a knowledge classifier score and MCTS (Monte-Carlo Tree Search). To adapt the sequence-level knowledge classifier to token-level guidance, we also propose a novel token-level hallucination detection method called RIPA (Reward Inflection Point Approximation). Our empirical results on knowledge-grounded dialogue and abstractive summarization demonstrate the strength of KCTS as a plug-and-play, model-agnostic decoding method that can effectively reduce hallucinations in natural language generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google