logLTN: Differentiable Fuzzy Logic in the Logarithm Space

要約

AI コミュニティは、ニューロシンボリック (NeSy) パラダイムを作成し、記号知識によるニューラル アプローチを支援するために、ロジックとディープ ラーニングを融合することにますます重点を置いています。
文献における重要な傾向には、ニューラル ネットワークとファジィ セマンティクスを備えた演算子を使用して論理シンボルを基礎付けることにより、公理と事実を損失関数に統合することが含まれています。
Logic Tensor Networks (LTN) は、このカテゴリの主要な代表の 1 つであり、そのシンプルさ、効率性、多用途性で知られています。
ただし、微分可能な設定で適用された場合、すべてのファジー演算子が同じように機能するわけではないことが以前に示されています。
研究者らは、有効性、数値安定性、さまざまな式への一般化の間でトレードオフを行う演算子の構成をいくつか提案しています。
この論文では、対数空間におけるエンドツーエンドの基礎式のためのファジー演算子の構成を示します。
私たちの目標は、以前の提案よりも効果的で、あらゆる式を処理でき、数値的に安定した構成を開発することです。
これを達成するために、対数空間に最適なセマンティクスを提案し、勾配降下法による最適化に重要な新しい単純化と改善を導入します。
私たちは実験のフレームワークとして LTN を使用していますが、私たちの研究の結論は同様の NeSy フレームワークに適用されます。
私たちの調査結果は、形式的かつ経験的に、提案された構成が最先端の構成を上回っており、これらの結果を達成するにはそれぞれの変更が不可欠であることを示しています。

要約(オリジナル)

The AI community is increasingly focused on merging logic with deep learning to create Neuro-Symbolic (NeSy) paradigms and assist neural approaches with symbolic knowledge. A significant trend in the literature involves integrating axioms and facts in loss functions by grounding logical symbols with neural networks and operators with fuzzy semantics. Logic Tensor Networks (LTN) is one of the main representatives in this category, known for its simplicity, efficiency, and versatility. However, it has been previously shown that not all fuzzy operators perform equally when applied in a differentiable setting. Researchers have proposed several configurations of operators, trading off between effectiveness, numerical stability, and generalization to different formulas. This paper presents a configuration of fuzzy operators for grounding formulas end-to-end in the logarithm space. Our goal is to develop a configuration that is more effective than previous proposals, able to handle any formula, and numerically stable. To achieve this, we propose semantics that are best suited for the logarithm space and introduce novel simplifications and improvements that are crucial for optimization via gradient-descent. We use LTN as the framework for our experiments, but the conclusions of our work apply to any similar NeSy framework. Our findings, both formal and empirical, show that the proposed configuration outperforms the state-of-the-art and that each of our modifications is essential in achieving these results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google