Boosting Language Models Reasoning with Chain-of-Knowledge Prompting

要約

最近、思考連鎖 (CoT) プロンプトは、複雑な推論タスクで成功を収めています。これは、「ステップごとに考えてみましょう」のような単純なプロンプト、または、大規模言語モデル (LLM) を引き出して中間推論ステップを生成するための、適切に設計された理論的根拠を備えたコンテキスト内の複数のサンプルを設計することを目的としています。
しかし、生成された論理的根拠にはしばしば間違いが伴い、事実に反した不誠実な論理的連鎖が生じます。
この脆弱性を軽減するために、我々は新しい知識連鎖 (CoK) プロンプティングを提案します。そこでは、LLM が構造トリプルの形式で明示的な知識証拠を生成するように誘導することを目的としています。
これは人間の行動からインスピレーションを得たものです。つまり、複雑な質問に答える前に、脳内で推論の証拠としてマインド マップや知識マップを描くことができます。
CoK の恩恵を受けて、事実性と忠実性の観点から推論チェーンの信頼性を推定する F^2-Verification メソッドをさらに導入します。
信頼性の低い応答については、LLM に再考を促すために間違った証拠を示すことができます。
広範な実験により、私たちの方法が常識的、事実的、記号的、および算術推論タスクのパフォーマンスをさらに向上できることが実証されています。

要約(オリジナル)

Recently, Chain-of-Thought (CoT) prompting has delivered success on complex reasoning tasks, which aims at designing a simple prompt like “Let’s think step by step” or multiple in-context exemplars with well-designed rationales to elicit Large Language Models (LLMs) to generate intermediate reasoning steps. However, the generated rationales often come with mistakes, making unfactual and unfaithful reasoning chains. To mitigate this brittleness, we propose a novel Chain-of-Knowledge (CoK) prompting, where we aim at eliciting LLMs to generate explicit pieces of knowledge evidence in the form of structure triple. This is inspired by our human behaviors, i.e., we can draw a mind map or knowledge map as the reasoning evidence in the brain before answering a complex question. Benefiting from CoK, we additionally introduce a F^2-Verification method to estimate the reliability of the reasoning chains in terms of factuality and faithfulness. For the unreliable response, the wrong evidence can be indicated to prompt the LLM to rethink. Extensive experiments demonstrate that our method can further improve the performance of commonsense, factual, symbolic, and arithmetic reasoning tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google