Exploring the Role of Reasoning Structures for Constructing Proofs in Multi-Step Natural Language Reasoning with Large Language Models

要約

複雑なマルチステップの推論タスクを実行する場合、構造化された中間証明ステップを導き出す大きな言語モデル（LLM）の能力は、モデルが望ましい推論を真に実行し、モデルの説明可能性を改善するために重要です。
この論文は、焦点を絞った研究を中心にしています。現在の最先端のジェネラリストLLMがいくつかの例で構造を活用して、\ textit {in-context Learning}で証明構造をよりよく構築できるかどうか。
私たちの研究は、特に構造認識のデモと構造認識の剪定に焦点を当てています。
どちらもパフォーマンスの向上に役立つことを実証します。
結果を理解するのに役立つ詳細な分析が提供されています。

要約(オリジナル)

When performing complex multi-step reasoning tasks, the ability of Large Language Models (LLMs) to derive structured intermediate proof steps is important for ensuring that the models truly perform the desired reasoning and for improving models’ explainability. This paper is centred around a focused study: whether the current state-of-the-art generalist LLMs can leverage the structures in a few examples to better construct the proof structures with \textit{in-context learning}. Our study specifically focuses on structure-aware demonstration and structure-aware pruning. We demonstrate that they both help improve performance. A detailed analysis is provided to help understand the results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google