Boosting Language Models Reasoning with Chain-of-Knowledge Prompting

要約

最近、Chain-of-Thought(CoT)プロンプティングが複雑な推論タスクで成功を収めている。これは「ステップバイステップで考えよう」のような簡単なプロンプトや、うまく設計された理由付けを持つ複数のインコンテクスト模範例を設計し、中間推論ステップを生成するための大規模言語モデル(LLM)を引き出すことを目的としている。しかし、生成された論理的根拠はしばしば誤りを伴い、事実に基づかない不誠実な推論連鎖を作る。このもろさを軽減するために、我々は新しい知識連鎖（CoK）プロンプトを提案する。これは、人間の行動、すなわち、複雑な質問に答える前に脳内で推論証拠としてマインドマップや知識マップを描くことにヒントを得ている。CoKの恩恵を受けて、我々はさらに、事実性と忠実性の観点から推論チェーンの信頼性を推定するためのF^2-Verification法を導入する。信頼性の低い回答に対しては、LLMに再考を促すために誤った証拠を示すことができる。広範な実験により、本方法が常識的推論、事実推論、記号推論、算術推論の性能をさらに向上させることが実証された。

要約(オリジナル)

Recently, Chain-of-Thought (CoT) prompting has delivered success on complex reasoning tasks, which aims at designing a simple prompt like “Let’s think step by step” or multiple in-context exemplars with well-designed rationales to elicit Large Language Models (LLMs) to generate intermediate reasoning steps. However, the generated rationales often come with mistakes, making unfactual and unfaithful reasoning chains. To mitigate this brittleness, we propose a novel Chain-of-Knowledge (CoK) prompting, where we aim at eliciting LLMs to generate explicit pieces of knowledge evidence in the form of structure triple. This is inspired by our human behaviors, i.e., we can draw a mind map or knowledge map as the reasoning evidence in the brain before answering a complex question. Benefiting from CoK, we additionally introduce a F^2-Verification method to estimate the reliability of the reasoning chains in terms of factuality and faithfulness. For the unreliable response, the wrong evidence can be indicated to prompt the LLM to rethink. Extensive experiments demonstrate that our method can further improve the performance of commonsense, factual, symbolic, and arithmetic reasoning tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL