Concise and Organized Perception Facilitates Large Language Models for Deductive Reasoning

要約

大規模言語モデル (LLM) を利用して演繹的推論に取り組むことへの注目が高まっています。
エンティティ間の複雑な関係を伴い、マルチホップ推論を必要とする多くの前提 (つまり、事実またはルール) を特徴とする複雑な演繹的問題で満足のいく結果を達成することは依然として非常に困難です。
直感的な解決策の 1 つは、元のタスクを小さなサブタスクに分解し、複数のカジュアルな推論ステップを順方向 (選択推論など) または逆方向 (LAMBADA など) に連鎖させることです。
ただし、これらの手法では必然的に全体的に多数のステージが必要となり、計算コストのかかる操作が発生し、誤解を招く手順を実行する可能性が高くなります。
段階ごとの分解に加えて、私たちは人間の問題解決の別の側面からインスピレーションを得ています。
人間は、最も関連性の高い情報を抽出し、自分の考えを体系的に整理する傾向があり (マインド マップの作成など)、質問に答えたり、結論を正確かつ迅速に導き出したりするのに役立ちます。
これを考慮して、我々は、Concise and Organized Perception (COP) と呼ばれる新しい推論アプローチを提案します。
COP は、指定されたステートメントを注意深く分析し、冗長性を排除しながら最も関連性の高い情報を効率的に特定します。
次に、モデルの推論プロセスに適応する、より組織化された形式で LLM にプロンプ​​トを出します。
簡潔で組織化された証明を認識することで、LLM の演繹的推論能力をより適切に引き出すことができ、過剰な推論段階によって引き起こされる誤りを獲得するリスクが軽減されます。
さらに、私たちのアプローチを前述のアプローチと組み合わせて、パフォーマンスをさらに向上させることができます。
3 つの一般的な演繹的ベンチマーク (つまり、ProofWriter、PrOntoQA、および PrOntoQA-OOD) に関する広範な実験結果は、COP が以前の最先端の手法を大幅に上回ることを示しています。

要約(オリジナル)

Exploiting large language models (LLMs) to tackle deductive reasoning has garnered growing attention. It still remains highly challenging to achieve satisfactory results in complex deductive problems, characterized by plenty of premises (i.e., facts or rules) entailing intricate relationships among entities and requiring multi-hop reasoning. One intuitive solution is to decompose the original task into smaller sub-tasks, and then chain the multiple casual reasoning steps together in a forward (e.g., Selection-Inference) or backward (e.g., LAMBADA) direction. However, these techniques inevitably necessitate a large number of overall stages, leading to computationally expensive operations and a higher possibility of making misleading steps. In addition to stage-by-stage decomposition, we draw inspiration from another aspect of human problem-solving. Humans tend to distill the most relevant information and organize their thoughts systematically (e.g., creating mind maps), which assists them in answering questions or drawing conclusions precisely and quickly. In light of this, we propose a novel reasoning approach named Concise and Organized Perception (COP). COP carefully analyzes the given statements to efficiently identify the most pertinent information while eliminating redundancy. It then prompts the LLMs in a more organized form that adapts to the model’s inference process. By perceiving concise and organized proofs, the deductive reasoning abilities of LLMs can be better elicited, and the risk of acquiring errors caused by excessive reasoning stages is mitigated. Furthermore, our approach can be combined with the aforementioned ones to further boost their performance. Extensive experimental results on three popular deductive benchmarks (i.e., ProofWriter, PrOntoQA and PrOntoQA-OOD) show that COP significantly outperforms previous state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google