Order Matters in Hallucination: Reasoning Order as Benchmark and Reflexive Prompting for Large-Language-Models

要約

大規模言語モデル (LLM) は、その誕生以来大きな注目を集めており、さまざまな学術領域や産業領域にわたって応用が見出されています。
ただし、これらのモデルは、出力が文法的および論理的に一貫しているにもかかわらず、事実の正確性に欠けているか、完全に捏造されているという「幻覚問題」に悩まされることがよくあります。
最近発見され広く議論されている特に厄介な問題は、複数の LLM が「9.11$>$9.9」と誤って推論する数値比較エラーです。
私たちは、LLM が答えと推論を生成する順序が一貫性に影響を与えることを発見しました。
具体的には、LLM が最初に答えを生成してから推論を提供する場合と、最初に推論プロセスを生成してから結論を生成する場合では、結果が大きく異なります。
これに触発されて、LLM の一貫性を評価するための新しいベンチマーク方法、つまりこれら 2 つの異なるアプローチを通じて生成された応答を比較する方法を提案します。
このベンチマークは、LLM が回答を捏造し、その後正当化を生成するインスタンスを効果的に特定します。
さらに、この問題を軽減するために設計された、斬新で簡単なプロンプト戦略を紹介します。
実験結果は、この戦略により、直接質問する場合と比較して、さまざまな LLM のパフォーマンスが向上することを示しています。
この研究は、LLM の重大な欠陥を明らかにするだけでなく、LLM の信頼性を高めるための実用的な解決策も提供します。

要約(オリジナル)

Large language models (LLMs) have generated significant attention since their inception, finding applications across various academic and industrial domains. However, these models often suffer from the ‘hallucination problem’, where outputs, though grammatically and logically coherent, lack factual accuracy or are entirely fabricated. A particularly troubling issue discovered and widely discussed recently is the numerical comparison error where multiple LLMs incorrectly infer that ‘9.11$>$9.9’. We discovered that the order in which LLMs generate answers and reasoning impacts their consistency. Specifically, results vary significantly when an LLM generates an answer first and then provides the reasoning versus generating the reasoning process first and then the conclusion. Inspired by this, we propose a new benchmark method for assessing LLM consistency: comparing responses generated through these two different approaches. This benchmark effectively identifies instances where LLMs fabricate answers and subsequently generate justifications. Furthermore, we introduce a novel and straightforward prompt strategy designed to mitigate this issue. Experimental results demonstrate that this strategy improves performance across various LLMs compared to direct questioning. This work not only sheds light on a critical flaw in LLMs but also offers a practical solution to enhance their reliability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google