Answering Questions by Meta-Reasoning over Multiple Chains of Thought

要約

マルチホップ質問応答（QA）のための最新のシステムは、通常、最終的な答えに到達する前に、質問を思考連鎖（CoT）と呼ばれる推論ステップのシーケンスに分割する。多くの場合、複数のチェーンがサンプリングされ、最終的な回答に対する投票メカニズムによって集約されるが、中間ステップ自体は破棄される。このようなアプローチはパフォーマンスを向上させるが、チェーン間の中間ステップ間の関係を考慮せず、予測された答えの統一的な説明を提供しない。我々はマルチチェーン推論（Multi-Chain Reasoning：MCR）を導入する。これは、大規模な言語モデルに、答えを集約するのではなく、複数の思考の連鎖をメタ推論するよう促すアプローチである。MCRは異なる推論連鎖を調べ、それらの間の情報を混合し、説明を生成し答えを予測する際に最も関連性の高い事実を選択する。MCRは7つのマルチホップQAデータセットにおいて強力なベースラインを凌駕した。さらに、我々の分析により、MCRの説明は高い品質を示し、人間がその答えを検証できることが明らかになった。

要約(オリジナル)

Modern systems for multi-hop question answering (QA) typically break questions into a sequence of reasoning steps, termed chain-of-thought (CoT), before arriving at a final answer. Often, multiple chains are sampled and aggregated through a voting mechanism over the final answers, but the intermediate steps themselves are discarded. While such approaches improve performance, they do not consider the relations between intermediate steps across chains and do not provide a unified explanation for the predicted answer. We introduce Multi-Chain Reasoning (MCR), an approach which prompts large language models to meta-reason over multiple chains of thought, rather than aggregating their answers. MCR examines different reasoning chains, mixes information between them and selects the most relevant facts in generating an explanation and predicting the answer. MCR outperforms strong baselines on 7 multi-hop QA datasets. Moreover, our analysis reveals that MCR explanations exhibit high quality, enabling humans to verify its answers.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL