Explicit Planning Helps Language Models in Logical Reasoning

要約

言語モデルは、幅広い自然言語処理タスクで非常に優れたパフォーマンスを発揮することが示されています。
この論文では、言語モデルを使用して多段階の論理的推論を実行する新しいシステムを提案します。
私たちのシステムは、明示的な計画を推論手順に組み込んでいるため、将来の影響を先読みすることで、各ステップでより多くの情報に基づいた推論の決定を下すことができます。
私たちの実験では、完全なシステムは他の競合システムよりも大幅に優れています。
多肢選択式の質問応答タスクでは、約 15 億個のパラメーターしかないにもかかわらず、GPT-3-davinci と比較して、当社のシステムは競争力のあるパフォーマンスを発揮します。
明示的な計画がシステムのパフォーマンスに重要な役割を果たすことを実証するために、いくつかのアブレーション研究を実施しています。

要約(オリジナル)

Language models have been shown to perform remarkably well on a wide range of natural language processing tasks. In this paper, we propose a novel system that uses language models to perform multi-step logical reasoning. Our system incorporates explicit planning into its inference procedure, thus able to make more informed reasoning decisions at each step by looking ahead into their future effects. In our experiments, our full system significantly outperforms other competing systems. On a multiple-choice question answering task, our system performs competitively compared to GPT-3-davinci despite having only around 1.5B parameters. We conduct several ablation studies to demonstrate that explicit planning plays a crucial role in the system’s performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google