Chain of Logic: Rule-Based Reasoning with Large Language Models

要約

法的推論の基本的なタイプであるルールに基づく推論では、一連の事実にルールを正確に適用することで結論を導き出すことができます。
私たちは、ルールベースの推論者として、特に構成ルール、つまり複雑な論理式を形成する複数の要素からなるルールに関して、因果言語モデルを探索します。
構成ルールについて推論することは、複数の推論ステップを必要とし、要素間の論理関係に注意する必要があるため、困難です。
新しいプロンプト手法であるロジック チェーンを導入します。これは、分解 (要素をロジックの独立したスレッドとして解決する) および再構成 (これらのサブ回答を再結合して基礎となる論理式を解決する) を通じてルール ベースの推論を導き出します。
この手法は、弁護士が使用する逐次推論アプローチである IRAC (問題、規則、適用、結論) フレームワークからインスピレーションを得たものです。
私たちは、LegalBench ベンチマークからの 3 つの異なる構成ルールを含む 8 つのルールベースの推論タスクにわたる論理の連鎖を評価し、オープンソースおよび商用言語モデルを使用して、思考連鎖や自問自答などの他のプロンプト手法よりも一貫して優れていることを実証しました。

要約(オリジナル)

Rule-based reasoning, a fundamental type of legal reasoning, enables us to draw conclusions by accurately applying a rule to a set of facts. We explore causal language models as rule-based reasoners, specifically with respect to compositional rules – rules consisting of multiple elements which form a complex logical expression. Reasoning about compositional rules is challenging because it requires multiple reasoning steps, and attending to the logical relationships between elements. We introduce a new prompting method, Chain of Logic, which elicits rule-based reasoning through decomposition (solving elements as independent threads of logic), and recomposition (recombining these sub-answers to resolve the underlying logical expression). This method was inspired by the IRAC (Issue, Rule, Application, Conclusion) framework, a sequential reasoning approach used by lawyers. We evaluate chain of logic across eight rule-based reasoning tasks involving three distinct compositional rules from the LegalBench benchmark and demonstrate it consistently outperforms other prompting methods, including chain of thought and self-ask, using open-source and commercial language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google