Concise and Organized Perception Facilitates Large Language Models for Deductive Reasoning

要約

演繹的推論に取り組むために大規模言語モデル（LLM）を利用することが注目されている。しかし、複雑な演繹問題で満足のいく結果を得ることは、依然として非常に困難である。複雑な前提（すなわち、事実やルール）は、エンティティ間の複雑な関係を伴い、マルチホップ推論を必要とする。1つの直感的な解決策は、元のタスクをより小さなサブタスクに分解し、複数のカジュアルな推論ステップを前方（例えば、選択推論）または後方（例えば、LAMBADA）方向に連鎖させることである。しかし、これらの手法では、必然的に全体のステージ数が多くなり、計算コストが高くなり、誤解を招く可能性が高くなる。段階ごとの分解に加えて、我々は人間の問題解決の別の側面からヒントを得る。人間は、最も関連性の高い情報を抽出し、思考を体系的に整理する傾向がある（例えば、マインドマップを作成する）。これを踏まえて、我々はConcise and Organized Perception (COP)と名付けた新しい推論アプローチを提案する。COPは与えられた文を注意深く分析し、冗長性を排除しながら最も適切な情報を効率的に特定する。そして、モデルの推論プロセスに適応した、より整理された形でLLMを促す。簡潔で整理された証明を知覚することで、LLMの演繹的推論能力をより良く引き出すことができ、過剰な推論段階によって引き起こされるエラーを獲得するリスクが軽減される。さらに、我々のアプローチは、前述のものと組み合わせることで、その性能をさらに高めることができる。3つの一般的な演繹ベンチマーク（ProofWriter、PrOntoQA、PrOntoQA-OOD）を用いた広範な実験結果から、COPが従来の最先端手法を大幅に上回ることが示された。

要約(オリジナル)

Exploiting large language models (LLMs) to tackle deductive reasoning has garnered growing attention. It still remains highly challenging to achieve satisfactory results in complex deductive problems, characterized by plenty of premises (i.e., facts or rules) entailing intricate relationships among entities and requiring multi-hop reasoning. One intuitive solution is to decompose the original task into smaller sub-tasks, and then chain the multiple casual reasoning steps together in a forward (e.g., Selection-Inference) or backward (e.g., LAMBADA) direction. However, these techniques inevitably necessitate a large number of overall stages, leading to computationally expensive operations and a higher possibility of making misleading steps. In addition to stage-by-stage decomposition, we draw inspiration from another aspect of human problem-solving. Humans tend to distill the most relevant information and organize their thoughts systematically (e.g., creating mind maps), which assists them in answering questions or drawing conclusions precisely and quickly. In light of this, we propose a novel reasoning approach named Concise and Organized Perception (COP). COP carefully analyzes the given statements to efficiently identify the most pertinent information while eliminating redundancy. It then prompts the LLMs in a more organized form that adapts to the model’s inference process. By perceiving concise and organized proofs, the deductive reasoning abilities of LLMs can be better elicited, and the risk of acquiring errors caused by excessive reasoning stages is mitigated. Furthermore, our approach can be combined with the aforementioned ones to further boost their performance. Extensive experimental results on three popular deductive benchmarks (i.e., ProofWriter, PrOntoQA and PrOntoQA-OOD) show that COP significantly outperforms previous state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL