Explicit Planning Helps Language Models in Logical Reasoning

要約

言語モデルは、幅広い自然言語処理タスクで非常に優れたパフォーマンスを発揮することが示されています。
この論文では、言語モデルを使用して多段階の論理的推論を実行し、推論手順に明示的な計画を組み込む新しいシステムである LEAP を提案します。
明示的な計画により、システムは将来の影響を先読みすることで、各ステップでより多くの情報に基づいた推論上の決定を下すことができます。
さらに、計画プロセスが偽の特徴によって誤って導かれるのを防ぐトレーニング戦略を提案します。
当社の完全なシステムは、複数の標準データセット上で他の競合手法よりも大幅に優れたパフォーマンスを発揮します。
小型の T5 モデルをコア選択および推論コンポーネントとして使用すると、パラメーターが約 10 億個しかないにもかかわらず (つまり、GPT-3 の 175 分の 1)、私たちのシステムは GPT-3 と比較して競争力のあるパフォーマンスを発揮します。
GPT-3.5 を使用すると、困難な PrOntoQA データセットに対する思考連鎖プロンプトよりも大幅に優れたパフォーマンスを発揮します。
私たちは、明示的な計画がシステムのパフォーマンスに重要な役割を果たすことを実証するために、広範な実証研究を実施しました。

要約(オリジナル)

Language models have been shown to perform remarkably well on a wide range of natural language processing tasks. In this paper, we propose LEAP, a novel system that uses language models to perform multi-step logical reasoning and incorporates explicit planning into the inference procedure. Explicit planning enables the system to make more informed reasoning decisions at each step by looking ahead into their future effects. Moreover, we propose a training strategy that safeguards the planning process from being led astray by spurious features. Our full system significantly outperforms other competing methods on multiple standard datasets. When using small T5 models as its core selection and deduction components, our system performs competitively compared to GPT-3 despite having only about 1B parameters (i.e., 175 times smaller than GPT-3). When using GPT-3.5, it significantly outperforms chain-of-thought prompting on the challenging PrOntoQA dataset. We have conducted extensive empirical studies to demonstrate that explicit planning plays a crucial role in the system’s performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google