LAMBADA: Backward Chaining for Automated Reasoning in Natural Language

要約

言語モデル (LM) や、思考連鎖や選択推論などの手法を使用することにより、自然テキストによる自動推論に関して目覚ましい進歩が見られました。
これらの手法では、公理から結論に至る順方向に証明を検索しますが、検索空間の組み合わせ爆発が発生するため、より長い推論連鎖を必要とする問題の失敗率が高くなります。
古典的な自動推論の文献では、逆方向の推論（つまり、意図された結論から裏付けとなる公理へ）の推論が、証明の発見において大幅に効率的であることが示されています。
この直感を LM 設定にインポートして、推論を 4 つのサブモジュールに分解する LAMBADA と呼ばれる逆方向連鎖アルゴリズムを開発します。
これらのサブモジュールは、少数ショット プロンプトの LM 推論によって単純に実装されます。
LAMBADA は、特に深く正確な証明チェーンが必要な場合に、困難な論理推論データセットに対して、最先端の順推論手法よりも大幅に精度が向上することを示します。

要約(オリジナル)

Remarkable progress has been made on automated reasoning with natural text, by using Language Models (LMs) and methods such as Chain-of-Thought and Selection-Inference. These techniques search for proofs in the forward direction from axioms to the conclusion, which suffers from a combinatorial explosion of the search space, and thus high failure rates for problems requiring longer chains of reasoning. The classical automated reasoning literature has shown that reasoning in the backward direction (i.e. from the intended conclusion to supporting axioms) is significantly more efficient at proof-finding. Importing this intuition into the LM setting, we develop a Backward Chaining algorithm, called LAMBADA, that decomposes reasoning into four sub-modules. These sub-modules are simply implemented by few-shot prompted LM inference. We show that LAMBADA achieves sizable accuracy boosts over state-of-the-art forward reasoning methods on challenging logical reasoning datasets, particularly when deep and accurate proof chains are required.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google