EXPLAIN, AGREE, LEARN: Scaling Learning for Neural Probabilistic Logic

要約

ニューラル確率論理システムは、ニューラル ネットワークの知覚および学習能力と確率論理の堅牢性を組み合わせることで、ニューロシンボリック (NeSy) パラダイムに従います。
学習はニューラルネットワークの尤度最適化に相当します。
ただし、尤度を正確に求めるには、高価な確率的論理推論が必要です。
したがって、学習をより複雑なシステムに拡張するには、代わりにサンプリング ベースの目標を最適化することを提案します。
目的には尤度に関して限界誤差があり、サンプル数を増やすと誤差がなくなることを証明します。
さらに、サンプルの多様性という新しい概念を利用することで、誤差がより早く消えます。
次に、この目的を使用した EXPLAIN、AGREE、LEARN (EXAL) メソッドを開発します。
EXPLAIN はデータの説明をサンプルします。
AGREE は、神経コンポーネントに従って各説明を再評価します。
LEARN は、再評価された説明を学習の合図として使用します。
以前の NeSy 手法とは対照的に、EXAL はエラーに対する理論上の保証を維持しながら、より大きな問題サイズに拡張できます。
実験的には、私たちの理論的主張が検証され、MNIST 加算と Warcraft のパスファインディング問題をスケールアップする際に、EXAL が最近の NeSy 手法よりも優れたパフォーマンスを発揮します。

要約(オリジナル)

Neural probabilistic logic systems follow the neuro-symbolic (NeSy) paradigm by combining the perceptive and learning capabilities of neural networks with the robustness of probabilistic logic. Learning corresponds to likelihood optimization of the neural networks. However, to obtain the likelihood exactly, expensive probabilistic logic inference is required. To scale learning to more complex systems, we therefore propose to instead optimize a sampling based objective. We prove that the objective has a bounded error with respect to the likelihood, which vanishes when increasing the sample count. Furthermore, the error vanishes faster by exploiting a new concept of sample diversity. We then develop the EXPLAIN, AGREE, LEARN (EXAL) method that uses this objective. EXPLAIN samples explanations for the data. AGREE reweighs each explanation in concordance with the neural component. LEARN uses the reweighed explanations as a signal for learning. In contrast to previous NeSy methods, EXAL can scale to larger problem sizes while retaining theoretical guarantees on the error. Experimentally, our theoretical claims are verified and EXAL outperforms recent NeSy methods when scaling up the MNIST addition and Warcraft pathfinding problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google