On the Independence Assumption in Neurosymbolic Learning

要約

最先端の神経記号学習システムは、確率的推論を使用して、記号に対する論理的制約に従う予測に向けてニューラル ネットワークを導きます。
このようなシステムの多くは、学習と推論を簡素化するために、入力が与えられた場合、考慮されるシンボルの確率が条件付きで独立していることを前提としています。
私たちはこの仮定を研究し批判し、それが最適化を妨げ、不確実性の定量化を妨げる可能性があることを強調します。
私たちは、損失関数が条件付きで独立したニューラル ネットワークにバイアスをかけ、予測を過信するようになることを証明します。
結果として、複数の有効な選択肢に対する不確実性を表すことができません。
さらに、これらの損失関数は最適化が困難であることを証明します。これらの損失関数は非凸であり、その最小値は通常非常に切り離されています。
私たちの理論的分析は、条件付き独立性の仮定を置き換え、より表現力豊かな神経象徴的確率モデルを設計するための基礎を提供します。

要約(オリジナル)

State-of-the-art neurosymbolic learning systems use probabilistic reasoning to guide neural networks towards predictions that conform to logical constraints over symbols. Many such systems assume that the probabilities of the considered symbols are conditionally independent given the input to simplify learning and reasoning. We study and criticise this assumption, highlighting how it can hinder optimisation and prevent uncertainty quantification. We prove that loss functions bias conditionally independent neural networks to become overconfident in their predictions. As a result, they are unable to represent uncertainty over multiple valid options. Furthermore, we prove that these loss functions are difficult to optimise: they are non-convex, and their minima are usually highly disconnected. Our theoretical analysis gives the foundation for replacing the conditional independence assumption and designing more expressive neurosymbolic probabilistic models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google