LogicMP: A Neuro-symbolic Approach for Encoding First-order Logic Constraints

要約

一次論理制約 (FOLC) とニューラル ネットワークの統合は、制約を満たすために複雑な相関関係をモデル化する必要があるため、重要ですが困難な問題です。
この論文では、MLN 上で平均場変分推論を実行する新しいニューラル層 LogicMP を提案します。
既製のニューラル ネットワークに接続して、モジュール性と効率を維持しながら FOLC をエンコードできます。
MLN の構造と対称性を利用することで、適切に設計された効率的な平均場反復が MLN 推論の困難さを効果的に軽減し、推論を逐次計算から一連の並列テンソル演算に削減することを理論的に実証します。
グラフ、画像、テキストに関する 3 種類のタスクの実験結果は、LogicMP がパフォーマンスと効率の両方で先進的な競合製品よりも優れていることを示しています。

要約(オリジナル)

Integrating first-order logic constraints (FOLCs) with neural networks is a crucial but challenging problem since it involves modeling intricate correlations to satisfy the constraints. This paper proposes a novel neural layer, LogicMP, whose layers perform mean-field variational inference over an MLN. It can be plugged into any off-the-shelf neural network to encode FOLCs while retaining modularity and efficiency. By exploiting the structure and symmetries in MLNs, we theoretically demonstrate that our well-designed, efficient mean-field iterations effectively mitigate the difficulty of MLN inference, reducing the inference from sequential calculation to a series of parallel tensor operations. Empirical results in three kinds of tasks over graphs, images, and text show that LogicMP outperforms advanced competitors in both performance and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google