Re-Reading Improves Reasoning in Large Language Models

要約

既製の大規模言語モデル (LLM) の推論機能を強化するために、シンプルでありながら一般的で効果的なプロンプト手法 Re2、つまり、質問を入力として入力する \textbf{Re}-\textbf{Re} を導入します。
。
出力で推論プロセスを引き出すことを目的とした思考連鎖 (CoT) などのほとんどの思考誘発プロンプト手法とは異なり、Re2 は質問を 2 回処理することで焦点を入力に移し、それによって理解プロセスを強化します。
その結果、Re2 は強力な汎用性と、CoT を含むほとんどの思考誘発プロンプト手法との互換性を示します。
重要なのは、最初のパスが 2 番目のパスにグローバル情報を提供できるため、Re2 は単方向デコーダ専用 LLM での「双方向」エンコーディングを容易にすることです。
私たちは、Re2 の基礎として予備的な実証研究から始め、「双方向」注意メカニズムを可能にする可能性を示します。
次に、14 のデータセット、112 回の実験にわたる広範な推論ベンチマークで Re2 を評価し、その有効性と一般性を検証します。
私たちの調査結果は、バニラ ChatGPT のいくつかのシナリオを除いて、Re2 が単純な再読み取り戦略を通じて LLM の推論パフォーマンスを一貫して強化していることを示しています。
さらなる分析により、Re2 の適応性が明らかになり、さまざまな LLM、思考誘発プロンプト、アンサンブル戦略とどのように効果的に統合できるかがわかります。
コードは \url{https://github.com/Tebmer/Rereading-LLM-Reasoning/} で入手できます。

要約(オリジナル)

To enhance the reasoning capabilities of off-the-shelf Large Language Models (LLMs), we introduce a simple, yet general and effective prompting method, Re2, i.e., \textbf{Re}-\textbf{Re}ading the question as input. Unlike most thought-eliciting prompting methods, such as Chain-of-Thought (CoT), which aim to elicit the reasoning process in the output, Re2 shifts the focus to the input by processing questions twice, thereby enhancing the understanding process. Consequently, Re2 demonstrates strong generality and compatibility with most thought-eliciting prompting methods, including CoT. Crucially, Re2 facilitates a ‘bidirectional’ encoding in unidirectional decoder-only LLMs because the first pass could provide global information for the second pass. We begin with a preliminary empirical study as the foundation of Re2, illustrating its potential to enable ‘bidirectional’ attention mechanisms. We then evaluate Re2 on extensive reasoning benchmarks across 14 datasets, spanning 112 experiments, to validate its effectiveness and generality. Our findings indicate that, with the exception of a few scenarios on vanilla ChatGPT, Re2 consistently enhances the reasoning performance of LLMs through a simple re-reading strategy. Further analyses reveal Re2’s adaptability, showing how it can be effectively integrated with different LLMs, thought-eliciting prompting, and ensemble strategies. Our code is available at \url{https://github.com/Tebmer/Rereading-LLM-Reasoning/}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google