Language Models with Rationality

要約

大規模言語モデル (LLM) は質問応答 (QA) に熟達していますが、その回答と、世界について持つ可能性のある他の「信念」との間の依存関係は通常明言されず、矛盾することさえあります。
私たちの目標は、そのような依存関係を明らかにし、依存関係間の不一致を減らし、一貫した信念のネットワークから引き出された、システムが信じている忠実な推論の連鎖によって答えが裏付けられるようにすることです。
REFLEX と呼ばれる私たちのアプローチは、LLM の上に「合理的な」自己反射層を追加することです。
まず、質問が与えられると、後方連鎖プロセスを使用して信念グラフを構築し、関連するモデルの「信念」 (回答候補に関する信念を含む) とそれらの間の推論関係を具体化します。
次に、形式的制約推論機能を使用して、そのグラフ内の矛盾を特定し、最小限に抑えます。
REFLEX は全体的な回答精度を損なうことなく、一貫性を大幅に (絶対値 8% ～ 11%) 向上させ、より一貫した信念体系から引き出された忠実な推論の連鎖に裏付けられた回答をもたらすことがわかりました。
これは、自己反映の合理的な層で拡張された LLM が、LLM 内の潜在的な矛盾を単独で修復できる、新しいスタイルのシステム アーキテクチャを示唆しています。

要約(オリジナル)

While large language models (LLMs) are proficient at question-answering (QA), the dependencies between their answers and other ‘beliefs’ they may have about the world are typically unstated, and may even be in conflict. Our goal is to uncover such dependencies and reduce inconsistencies among them, so that answers are supported by faithful, system-believed chains of reasoning drawn from a consistent network of beliefs. Our approach, which we call REFLEX, is to add a ‘rational’, self-reflecting layer on top of the LLM. First, given a question, we construct a belief graph using a backward-chaining process to materialize relevant model ‘beliefs’ (including beliefs about answer candidates) and the inferential relationships between them. Second, we identify and minimize contradictions in that graph using a formal constraint reasoner. We find that REFLEX significantly improves consistency (by 8%-11% absolute) without harming overall answer accuracy, resulting in answers supported by faithful chains of reasoning drawn from a more consistent belief system. This suggests a new style of system architecture, in which an LLM extended with a rational layer of self-reflection can repair latent inconsistencies within the LLM alone.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google