Unleashing Multi-Hop Reasoning Potential in Large Language Models through Repetition of Misordered Context

要約

マルチホップ推論は、特定のコンテキスト内のサポート文書に基づいた複数ステップの推論を必要とし、大規模言語モデル (LLM) にとって依然として困難です。
LLM は、コンテキスト内で無関係なドキュメントをフィルタリングするのに苦労することが多く、そのパフォーマンスは、そのコンテキスト内でサポートされるドキュメントの位置に影響されます。
このペーパーでは、追加の課題を特定します。LLM のパフォーマンスは、サポート文書が提示される順序にも影響されます。
これをコンテキストの誤った順序の問題と呼びます。
この問題に対処するために、私たちはコンテキスト反復 (CoRe) と呼ばれるシンプルかつ効果的な方法を提案します。これは、サポートするドキュメントがモデルにとって最適な順序で表示されるようにコンテキストを繰り返し提示することでモデルを促すことを含みます。
CoRe を使用すると、マルチホップ QA タスクで F1 スコアが最大 30%p 向上し、合成タスクで精度が最大 70%p 向上します。
さらに、CoRe は、LLM におけるよく知られた「中間者喪失」問題の軽減に役立ち、思考連鎖 (CoT) 推論を利用した検索ベースのアプローチと効果的に組み合わせることができます。

要約(オリジナル)

Multi-hop reasoning, which requires multi-step reasoning based on the supporting documents within a given context, remains challenging for large language models (LLMs). LLMs often struggle to filter out irrelevant documents within the context, and their performance is sensitive to the position of supporting documents within that context. In this paper, we identify an additional challenge: LLMs’ performance is also sensitive to the order in which the supporting documents are presented. We refer to this as the misordered context problem. To address this issue, we propose a simple yet effective method called context repetition (CoRe), which involves prompting the model by repeatedly presenting the context to ensure the supporting documents are presented in the optimal order for the model. Using CoRe, we improve the F1 score by up to 30%p on multi-hop QA tasks and increase accuracy by up to 70%p on a synthetic task. Additionally, CoRe helps mitigate the well-known ‘lost-in-the-middle’ problem in LLMs and can be effectively combined with retrieval-based approaches utilizing Chain-of-Thought (CoT) reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google