Understanding Before Reasoning: Enhancing Chain-of-Thought with Iterative Summarization Pre-Prompting

要約

思考連鎖 (CoT) プロンプトは、複雑な推論を強化するための大規模言語モデル (LLM) の主要なパラダイムです。
これは、LLM が最終的な答えを直接生成するのではなく、複数ステップの推論を提示するようにガイドします。
ただし、推論に必要な重要な情報が暗黙的であるか欠落している場合、CoT は困難に直面します。
これは、CoT が一連の推論ステップを重視し、重要な情報の早期抽出を無視しているために発生します。
重要な情報が明示的に提供されない場合に LLM 推論を改良するために、反復要約事前プロンプト (ISP^2) と呼ばれる事前プロンプト手法を提案します。
まず、エンティティとそれに対応する説明が抽出されて、潜在的なキー情報のペアが形成されます。
次に、信頼性評価を使用してこれらのペアを評価し、最もランクの低い 2 つのペアを新しいエンティティの説明にマージします。
このプロセスは、一意の鍵情報ペアが取得されるまで繰り返されます。
最後に、そのペアと元の質問が LLM に入力されて、回答が生成されます。
広範な実験により、既存の方法と比較して 7.1% の改善が実証されました。
従来のプロンプトとは異なり、ISP^2 は事前プロンプトによる帰納的アプローチを採用し、多様な推論フレームワークへの柔軟な統合を提供します。
コードは https://github.com/zdhgreat/ISP-2 で入手できます。

要約(オリジナル)

Chain-of-Thought (CoT) Prompting is a dominant paradigm in Large Language Models (LLMs) to enhance complex reasoning. It guides LLMs to present multi-step reasoning, rather than generating the final answer directly. However, CoT encounters difficulties when key information required for reasoning is implicit or missing. This occurs because CoT emphasizes the sequence of reasoning steps while overlooking the early extraction of essential information. We propose a pre-prompting method called Iterative Summarization Pre-Prompting (ISP^2) to refine LLM reasoning when key information is not explicitly provided. First, entities and their corresponding descriptions are extracted to form potential key information pairs. Next, we use a reliability rating to assess these pairs, then merge the two lowest-ranked pairs into a new entity description. This process is repeated until a unique key information pair is obtained. Finally, that pair, along with the original question, is fed into LLMs to produce the answer. Extensive experiments demonstrate a 7.1% improvement compared to existing methods. Unlike traditional prompting, ISP^2 adopts an inductive approach with pre-prompting, offering flexible integration into diverse reasoning frameworks. The code is available at https://github.com/zdhgreat/ISP-2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google