Scalable Coupling of Deep Learning with Logical Reasoning

要約

離散推論とニューラル ネットワークのハイブリッド化の継続的な探求において、自然入力から離散推論や最適化の問題を解決する方法を学習できるニューラル アーキテクチャへの関心が高まっています。
この論文では、離散グラフィカル モデルとして表現される NP 困難推論問題の制約と基準の学習に特化したスケーラブルなニューラル アーキテクチャと損失関数を紹介します。
私たちの損失関数は、Besag の擬似対数尤度の主な制限の 1 つを解決し、高エネルギーの学習を可能にします。
私たちは、記号的、視覚的、多解数独問題やタンパク質設計問題のエネルギー最適化定式化などの自然な入力から NP 困難推論問題を解く方法を効率的に学習できることを経験的に示し、データ効率、解釈可能性、
そして \textit{事後的} に予測を制御します。

要約(オリジナル)

In the ongoing quest for hybridizing discrete reasoning with neural nets, there is an increasing interest in neural architectures that can learn how to solve discrete reasoning or optimization problems from natural inputs. In this paper, we introduce a scalable neural architecture and loss function dedicated to learning the constraints and criteria of NP-hard reasoning problems expressed as discrete Graphical Models. Our loss function solves one of the main limitations of Besag’s pseudo-loglikelihood, enabling learning of high energies. We empirically show it is able to efficiently learn how to solve NP-hard reasoning problems from natural inputs as the symbolic, visual or many-solutions Sudoku problems as well as the energy optimization formulation of the protein design problem, providing data efficiency, interpretability, and \textit{a posteriori} control over predictions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google