A Simple Generative Model of Logical Reasoning and Statistical Learning

要約

統計学習と論理的推論は、人間のような機械知能を実現するために統合されることが期待されている AI の 2 つの主要な分野です。
既存の研究のほとんどは、既存の論理システムと統計システムを組み合わせる方法を検討しています。
しかし、これまでのところ、統計学習と論理的推論への基本的なアプローチが共通の原理からどのように生じるかを説明する推論理論はありません。
神経科学における多くの経験的研究が、学習や推論を含む脳機能に対するベイジアン (または確率的生成) アプローチを示唆しているという事実に触発されて、我々はここで、論理的推論と統計学習の単純なベイズ モデルを提案します。
この理論は、コルモゴロフの公理を満たし、フェンスタッドの表現定理と最尤推定の両方と一致し、線形時間計算量で正確なベイズ推論を実行するため、統計的に正確です。
この理論は、一貫性、可能性、矛盾、不可能性からなる不確実な推論をデータに基づいて一般化したものであるため、論理的に正しいです。
この理論は、MNIST データセットの生成および予測タスクに対する解決策が経験的に合理的であるだけでなく、K 最近傍法に対して理論的にも正しいため、機械学習の観点からは正しいです。
形式論理における充足可能性の観点から、データがどのように記号知識を引き起こすかを単純にモデル化します。
象徴的推論は、因果関係を前後に進めるプロセスの結果として現れます。
順方向の処理は形式論理における解釈に相当し、逆方向の処理は逆方向の解釈に相当する。
逆解釈は、逆含意、逆演繹、逆解決と呼ばれることが多い主流の研究と私たちの研究を区別します。
この視点は、人間のような機械知能に向けた学習と推論についての新たな洞察を与えます。

要約(オリジナル)

Statistical learning and logical reasoning are two major fields of AI expected to be unified for human-like machine intelligence. Most existing work considers how to combine existing logical and statistical systems. However, there is no theory of inference so far explaining how basic approaches to statistical learning and logical reasoning stem from a common principle. Inspired by the fact that much empirical work in neuroscience suggests Bayesian (or probabilistic generative) approaches to brain function including learning and reasoning, we here propose a simple Bayesian model of logical reasoning and statistical learning. The theory is statistically correct as it satisfies Kolmogorov’s axioms, is consistent with both Fenstad’s representation theorem and maximum likelihood estimation and performs exact Bayesian inference with a linear-time complexity. The theory is logically correct as it is a data-driven generalisation of uncertain reasoning from consistency, possibility, inconsistency and impossibility. The theory is correct in terms of machine learning as its solution to generation and prediction tasks on the MNIST dataset is not only empirically reasonable but also theoretically correct against the K nearest neighbour method. We simply model how data causes symbolic knowledge in terms of its satisfiability in formal logic. Symbolic reasoning emerges as a result of the process of going the causality forwards and backwards. The forward and backward processes correspond to an interpretation and inverse interpretation in formal logic, respectively. The inverse interpretation differentiates our work from the mainstream often referred to as inverse entailment, inverse deduction or inverse resolution. The perspective gives new insights into learning and reasoning towards human-like machine intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google