The Quantified Boolean Bayesian Network: Theory and Experiments with a Logical Graphical Model

要約

このペーパーでは、論理的および確率的推論の統一されたビューを提供する量子化ブール ベイジアン ネットワーク (QBBN) を紹介します。
QBBN は、情報検索で非常に普及している大規模言語モデル (LLM) の中心的な問題、つまり LLM が幻覚を起こすという問題に対処することを目的としています。
ベイジアン ネットワークは、説明できる答えしか返せないため、その構造上、幻覚は起こりません。
人間の言語の基礎となる論理的推論を表現するために、無制限の数のブール変数上のベイジアン ネットワークを構成する方法を示します。
これを行うには、一貫性と完全性を証明できる一次微積分のキーと値のバージョンを作成します。
モデルは完全に観察されたデータに対して自明にトレーニングされるが、その推論は自明ではないことを示します。
ベイジアン ネットワークにおける正確な推論は困難です (つまり、$N$ 変数に対する $\Omega(2^N)$ )。
推論のために、収束することが保証されていないが、実際には収束することが多いことが示されているループ状信念伝播 (LBP) の使用を調査します。
私たちの実験は、LBP が確かに非常に確実に収束することを示し、分析は、LBP のラウンドには $O(N2^n)$ の時間がかかることを示しています。ここで、$N$ は考慮される変数の数の限界であり、$n$ は考慮される変数の数の限界です。
あらゆる要素への受信接続が可能になり、さらなる改善が可能になる可能性があります。
私たちのネットワークは、ブール代数で AND ゲートと OR ゲートを交互に使用するように特別に設計されており、論理的推論により密接に接続し、ネットワークの拡張バージョンの完全性証明を可能にし、推論が特定の適切な経路に従うことも可能にします。
早く出るために。

要約(オリジナル)

This paper introduces the Quantified Boolean Bayesian Network (QBBN), which provides a unified view of logical and probabilistic reasoning. The QBBN is meant to address a central problem with the Large Language Model (LLM), which has become extremely popular in Information Retrieval, which is that the LLM hallucinates. A Bayesian Network, by construction, cannot hallucinate, because it can only return answers that it can explain. We show how a Bayesian Network over an unbounded number of boolean variables can be configured to represent the logical reasoning underlying human language. We do this by creating a key-value version of the First-Order Calculus, for which we can prove consistency and completeness. We show that the model is trivially trained over fully observed data, but that inference is non-trivial. Exact inference in a Bayesian Network is intractable (i.e. $\Omega(2^N)$ for $N$ variables). For inference, we investigate the use of Loopy Belief Propagation (LBP), which is not guaranteed to converge, but which has been shown to often converge in practice. Our experiments show that LBP indeed does converge very reliably, and our analysis shows that a round of LBP takes time $O(N2^n)$, where $N$ bounds the number of variables considered, and $n$ bounds the number of incoming connections to any factor, and further improvements may be possible. Our network is specifically designed to alternate between AND and OR gates in a Boolean Algebra, which connects more closely to logical reasoning, allowing a completeness proof for an expanded version of our network, and also allows inference to follow specific but adequate pathways, that turn out to be fast.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google