CreDes: Causal Reasoning Enhancement and Dual-End Searching for Solving Long-Range Reasoning Problems using LLMs

要約

大規模言語モデル (LLM) では、因果的幻覚と巨大な検索空間が部分的に原因となり、長距離推論を伴う組み合わせ最適化問題の処理に限界があることが実証されています。
因果的幻覚、つまり推論とそれに対応する状態遷移の間の不一致に関して、本論文は、因果関係介入と個別治療効果（ITE）を組み合わせた因果関係強化（CRE）メカニズムを導入し、各段階間の確実な因果関係の正当性を保証します。
推論と状態遷移。
単一方向探索を特徴とする既存モデルの性能を制限する長い因果範囲と巨大な探索空間に関しては、因果確率の初期状態と目標状態の両方から同時に開始して解決策を求めるデュアルエンド探索(DES)アプローチが提案されています。
木。
CRE と DES (CreDes) を統合することにより、私たちのモデルは同時に複数ステップの推論を実現し、思考連鎖 (CoT) のような複数の 1 ステップの推論をカスケードすることによる非効率を回避しました。
実験では、精度と時間効率の両方の点で、CreDes が長距離推論タスクにおいて既存の最先端 (SOTA) ソリューションよりも大幅に優れていることが実証されています。

要約(オリジナル)

Large language models (LLMs) have demonstrated limitations in handling combinatorial optimization problems involving long-range reasoning, partially due to causal hallucinations and huge search space. As for causal hallucinations, i.e., the inconsistency between reasoning and corresponding state transition, this paper introduces the Causal Relationship Enhancement (CRE) mechanism combining cause-effect interventions and the Individual Treatment Effect (ITE) to guarantee the solid causal rightness between each step of reasoning and state transition. As for the long causal range and huge search space limiting the performances of existing models featuring single-direction search, a Dual-End Searching (DES) approach is proposed to seek solutions by simultaneously starting from both the initial and goal states on the causal probability tree. By integrating CRE and DES (CreDes), our model has realized simultaneous multi-step reasoning, circumventing the inefficiencies from cascading multiple one-step reasoning like the Chain-of-Thought (CoT). Experiments demonstrate that CreDes significantly outperforms existing State-Of-The-Art (SOTA) solutions in long-range reasoning tasks in terms of both accuracy and time efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google