Relational Neurosymbolic Markov Models

要約

逐次問題は、強化学習や自然言語処理などの AI のいたるところに存在します。
トランスフォーマーなどの最先端のディープシーケンシャルモデルは、これらの設定では優れていますが、信頼できる展開に必要な制約を満たすことは保証できません。
対照的に、ニューロシンボリック AI (NeSy) は、深い確率モデルで制約を強制するための健全な形式主義を提供しますが、逐次的な問題では指数関数的にスケールします。
これらの制限を克服するために、リレーショナル神経記号マルコフ モデル (NeSy-MM) を導入します。これは、リレーショナル論理制約を統合し、証明可能に満たすエンドツーエンドの微分可能な逐次モデルの新しいクラスです。
我々は、逐次設定に応じてスケールし、近似ベイズ推論、自動推論、勾配推定を組み合わせた推論と学習の戦略を提案します。
私たちの実験は、NeSy-MM が神経記号 AI の現在の最先端を超えて問題を解決でき、なおかつ望ましい特性に関して強力な保証を提供できることを示しています。
さらに、モデルがより解釈しやすく、テスト時に制約を配布外のシナリオに適応できることを示します。

要約(オリジナル)

Sequential problems are ubiquitous in AI, such as in reinforcement learning or natural language processing. State-of-the-art deep sequential models, like transformers, excel in these settings but fail to guarantee the satisfaction of constraints necessary for trustworthy deployment. In contrast, neurosymbolic AI (NeSy) provides a sound formalism to enforce constraints in deep probabilistic models but scales exponentially on sequential problems. To overcome these limitations, we introduce relational neurosymbolic Markov models (NeSy-MMs), a new class of end-to-end differentiable sequential models that integrate and provably satisfy relational logical constraints. We propose a strategy for inference and learning that scales on sequential settings, and that combines approximate Bayesian inference, automated reasoning, and gradient estimation. Our experiments show that NeSy-MMs can solve problems beyond the current state-of-the-art in neurosymbolic AI and still provide strong guarantees with respect to desired properties. Moreover, we show that our models are more interpretable and that constraints can be adapted at test time to out-of-distribution scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google