Counterfactual Debating with Preset Stances for Hallucination Elimination of LLMs

要約

大規模言語モデル (LLM) は、さまざまな自然言語処理タスクに優れていますが、幻覚の問題に悩まされています。
既存のソリューションでは、自己修正や多様なサンプリング方法など、LLM の固有の推論能力を利用して幻覚を軽減することが検討されてきました。
ただし、これらの方法では、固有のバイアスにより、LLM の最初の回答を過信することがよくあります。
この問題を軽減する鍵は、回答検査に対する LLM 固有のバイアスをオーバーライドすることにあります。
この目的を達成するために、我々は CounterFactual Multi-Agent Debate (CFMAD) フレームワークを提案します。
CFMAD は、あらかじめ決められた答えの正しさの正当性を LLM に生成させることで、LLM の固有のバイアスを無効にするよう LLM のスタンスを事前設定します。
あらかじめ定められた異なる立場を持つ LLM は、生成された正当化の合理性についての反事実的な議論のために懐疑的な批評家と関わっています。
最後に、討論のプロセスは第三者の裁判官によって評価され、最終的な答えが決定されます。
3 つのタスクの 4 つのデータセットに対する広範な実験により、CFMAD が既存の方法よりも優れていることが実証されました。

要約(オリジナル)

Large Language Models (LLMs) excel in various natural language processing tasks but struggle with hallucination issues. Existing solutions have considered utilizing LLMs’ inherent reasoning abilities to alleviate hallucination, such as self-correction and diverse sampling methods. However, these methods often overtrust LLMs’ initial answers due to inherent biases. The key to alleviating this issue lies in overriding LLMs’ inherent biases for answer inspection. To this end, we propose a CounterFactual Multi-Agent Debate (CFMAD) framework. CFMAD presets the stances of LLMs to override their inherent biases by compelling LLMs to generate justifications for a predetermined answer’s correctness. The LLMs with different predetermined stances are engaged with a skeptical critic for counterfactual debate on the rationality of generated justifications. Finally, the debate process is evaluated by a third-party judge to determine the final answer. Extensive experiments on four datasets of three tasks demonstrate the superiority of CFMAD over existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google