Language Models with Rationality

要約

大規模言語モデル (LLM) は質問応答 (QA) に熟練していますが、潜在的な「信念」からどのように答えが導き出されるのか (あるいは、導き出されるのかどうか) は必ずしも明らかではありません。
この解釈可能性の欠如は、LLM の広範な使用にとってますます障害となっています。
これに対処するために、私たちの目標は、モデルの信念とその推論関係を明示し、存在する可能性のある矛盾を解決して、一貫した信念のネットワークから引き出された解釈可能な推論の連鎖によって答えがサポートされるようにすることです。
REFLEX と呼ばれる私たちのアプローチは、LLM の上に合理的で自己反射的な層を追加することです。
まず、質問が与えられると、逆方向連鎖プロセスを使用して信念グラフを構築し、関連するモデル信念 (回答候補に関する信念を含む) とその推論関係を具体化します。
次に、形式的制約推論機能を使用して、そのグラフ内の矛盾を特定し、最小限に抑えます。
REFLEX は全体的な回答精度を損なうことなく、一貫性を大幅に (絶対値 8% ～ 11%) 向上させ、より一貫した信念体系から引き出された忠実な推論の連鎖に裏付けられた回答をもたらすことがわかりました。
これは、合理的な層で拡張された LLM がシステムの信念への解釈可能な窓を提供し、体系的な推論機能を追加し、LLM に存在する潜在的な矛盾を修復できる、新しいスタイルのシステム アーキテクチャを示唆しています。

要約(オリジナル)

While large language models (LLMs) are proficient at question-answering (QA), it is not always clear how (or even if) an answer follows from their latent ‘beliefs’. This lack of interpretability is a growing impediment to widespread use of LLMs. To address this, our goals are to make model beliefs and their inferential relationships explicit, and to resolve inconsistencies that may exist, so that answers are supported by interpretable chains of reasoning drawn from a consistent network of beliefs. Our approach, which we call REFLEX, is to add a rational, self-reflecting layer on top of the LLM. First, given a question, we construct a belief graph using a backward-chaining process to materialize relevant model beliefs (including beliefs about answer candidates) and their inferential relationships. Second, we identify and minimize contradictions in that graph using a formal constraint reasoner. We find that REFLEX significantly improves consistency (by 8%-11% absolute) without harming overall answer accuracy, resulting in answers supported by faithful chains of reasoning drawn from a more consistent belief system. This suggests a new style of system architecture in which an LLM extended with a rational layer can provide an interpretable window into system beliefs, add a systematic reasoning capability, and repair latent inconsistencies present in the LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google