Scalable Coupling of Deep Learning with Logical Reasoning

要約

離散推論とニューラルネットのハイブリッドの追求が進む中、自然な入力から離散推論や最適化問題の解法を学習できるニューラルアーキテクチャへの関心が高まってきている。本論文では、離散グラフモデルとして表現されるNP困難推論問題の制約と基準を学習するためのスケーラブルなニューラルアーキテクチャと損失関数を紹介します。我々の損失関数は、Besagの擬似対数尤度の主な制限の一つを解決し、高エネルギーの学習を可能にする。数独のような記号的、視覚的、多解的な問題や、タンパク質設計問題のエネルギー最適化のような自然な入力から、NP困難推論問題の解法を効率的に学習できることを実証的に示し、データ効率、解釈性、予測に対する \textit{a posteriori}制御を提供します。

要約(オリジナル)

In the ongoing quest for hybridizing discrete reasoning with neural nets, there is an increasing interest in neural architectures that can learn how to solve discrete reasoning or optimization problems from natural inputs. In this paper, we introduce a scalable neural architecture and loss function dedicated to learning the constraints and criteria of NP-hard reasoning problems expressed as discrete Graphical Models. Our loss function solves one of the main limitations of Besag’s pseudo-loglikelihood, enabling learning of high energies. We empirically show it is able to efficiently learn how to solve NP-hard reasoning problems from natural inputs as the symbolic, visual or many-solutions Sudoku problems as well as the energy optimization formulation of the protein design problem, providing data efficiency, interpretability, and \textit{a posteriori} control over predictions.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL