Re-Ex: Revising after Explanation Reduces the Factual Errors in LLM Responses

要約

幻覚の問題を軽減することは、現実世界のシナリオで大規模言語モデル (LLM) を確実に導入するために克服する必要がある重要な課題です。
最近、幻覚を軽減するために、LLM で生成されたテキストの事実誤認を検出して修正するさまざまな方法が提案されています。
この論文では、LLM で生成された応答をポスト編集するための方法である Re-Ex を提案します。
Re-Ex では、事実上の誤りの説明ステップと呼ばれる新しい推論ステップが導入されています。
Re-Ex は、3 つのステップを使用して LLM の初期応答を改訂します。まず、外部ツールを使用して、LLM の初期応答における事実上の誤りの証拠を取得します。
次に、LLM は収集した証拠に基づいて対応の問題部分を説明するよう指示されます。
最後に、LLM は前のステップで提供された説明を使用して初期応答を修正します。
説明ステップに加えて、Re-Ex には、応答改訂プロセスに必要なトークン数と推論時間を削減するための新しいプロンプト手法も組み込まれています。
FacTool、CoVE、RARR などの既存の方法と比較して、Re-Ex は、複数のベンチマークでより少ない推論時間とより少ないトークンで、より優れた検出と修正のパフォーマンスを提供します。

要約(オリジナル)

Mitigating hallucination issues is a key challenge that must be overcome to reliably deploy large language models (LLMs) in real-world scenarios. Recently, various methods have been proposed to detect and revise factual errors in LLM-generated texts, in order to reduce hallucination. In this paper, we propose Re-Ex, a method for post-editing LLM-generated responses. Re-Ex introduces a novel reasoning step dubbed as the factual error explanation step. Re-Ex revises the initial response of LLMs using 3-steps : first, external tools are used to retrieve the evidences of the factual errors in the initial LLM response; next, LLM is instructed to explain the problematic parts of the response based on the gathered evidence; finally, LLM revises the initial response using the explanations provided in the previous step. In addition to the explanation step, Re-Ex also incorporates new prompting techniques to reduce the token count and inference time required for the response revision process. Compared with existing methods including FacTool, CoVE, and RARR, Re-Ex provides better detection and revision performance with less inference time and fewer tokens in multiple benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google