Neural Probabilistic Logic Programming in Discrete-Continuous Domains

要約

ニューラル シンボリック AI (NeSy) により、ニューラル ネットワークはシンボリックな背景知識をロジックの形で活用できます。
限られたデータ体制での学習を支援し、分布外データの推論を容易にすることが示されています。
Probabilistic NeSy は、ニューラル ネットワークを論理理論と確率理論の両方と統合することに重点を置いており、さらに不確実性の下での学習を可能にします。
DeepProbLog などの現在の確率的 NeSy システムの主な制限は、有限確率分布、つまり離散確率変数への制限です。
対照的に、深層確率プログラミング (DPP) は、連続確率分布のモデリングと最適化に優れています。
そこで、DPP 手法を NeSy に組み込んだニューラル確率論理プログラミング言語である DeepSeaProbLog を紹介します。
そうすることで、論理的制約の下での離散確率分布と連続確率分布の両方の推論と学習がサポートされます。
私たちの主な貢献は、1) DeepSeaProbLog とそれに対応する推論アルゴリズムのセマンティクス、2) 証明された漸近的で偏りのない学習アルゴリズム、3) 私たちのアプローチの多様性を示す一連の実験です。

要約(オリジナル)

Neural-symbolic AI (NeSy) allows neural networks to exploit symbolic background knowledge in the form of logic. It has been shown to aid learning in the limited data regime and to facilitate inference on out-of-distribution data. Probabilistic NeSy focuses on integrating neural networks with both logic and probability theory, which additionally allows learning under uncertainty. A major limitation of current probabilistic NeSy systems, such as DeepProbLog, is their restriction to finite probability distributions, i.e., discrete random variables. In contrast, deep probabilistic programming (DPP) excels in modelling and optimising continuous probability distributions. Hence, we introduce DeepSeaProbLog, a neural probabilistic logic programming language that incorporates DPP techniques into NeSy. Doing so results in the support of inference and learning of both discrete and continuous probability distributions under logical constraints. Our main contributions are 1) the semantics of DeepSeaProbLog and its corresponding inference algorithm, 2) a proven asymptotically unbiased learning algorithm, and 3) a series of experiments that illustrate the versatility of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google