Information Re-Organization Improves Reasoning in Large Language Models

要約

大規模言語モデル (LLM) の推論機能の向上は、大きな関心を集めています。
最近のアプローチは主に、推論プロセスを改善して、より正確な最終答えを導き出すことに重点を置いています。
ただし、文脈を意識した推論を含むシナリオでは、これらの方法では、推論を進める前にまず文脈から論理関係を特定する重要性が無視されます。
この見落としは、表面的な理解とコンテキストとの相互作用につながり、推論結果の品質と信頼性を損なう可能性があります。
本稿では、LLM の推論能力を高めるために、推論を進める前に情報再構成 (InfoRE) 手法を提案します。
まず、文書や段落などのコンテキストコンテンツの再編成処理を実行して、論理的な関係を取得します。
そして、再構成した情報を推論のプロセスに活用します。
これにより、LLM はこれらの論理関係を明確に認識することで、コンテキストの内容を深く理解できるようになります。
推論能力の向上における私たちのアプローチの有効性を実証するために、Llama2-70B、GPT-3.5、および GPT-4 を使用して、さまざまな文脈を認識したマルチホップ推論タスクで実験を実施します。
ゼロショット設定のみを使用すると、私たちの方法はすべてのタスクにわたって平均 3\% の改善を達成し、LLM の推論パフォーマンスを向上させる可能性を強調しています。
ソースコードは https://github.com/hustcxx/InfoRE で入手できます。

要約(オリジナル)

Improving the reasoning capabilities of large language models (LLMs) has attracted considerable interest. Recent approaches primarily focus on improving the reasoning process to yield a more precise final answer. However, in scenarios involving contextually aware reasoning, these methods neglect the importance of first identifying logical relationships from the context before proceeding with the reasoning. This oversight could lead to a superficial understanding and interaction with the context, potentially undermining the quality and reliability of the reasoning outcomes. In this paper, we propose an information re-organization (InfoRE) method before proceeding with the reasoning to enhance the reasoning ability of LLMs. We first perform a re-organization processing of the contextual content, e.g., documents or paragraphs, to obtain logical relationships. Then, we utilize the re-organized information in the reasoning process. This enables LLMs to deeply understand the contextual content by clearly perceiving these logical relationships. To demonstrate the effectiveness of our approach in improving the reasoning ability, we conduct experiments using Llama2-70B, GPT-3.5, and GPT-4 on various contextually aware multi-hop reasoning tasks. Using only a zero-shot setting, our method achieves an average improvement of 3\% across all tasks, highlighting its potential to improve the reasoning performance of LLMs. Our source code is available at https://github.com/hustcxx/InfoRE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google