The Gradient of Algebraic Model Counting

要約

代数モデルカウントは、セミリングを悪用することにより、論理式に関する多くの推論タスクを統合します。
推論に焦点を合わせるのではなく、学習、特に論理的、確率的、神経表現を組み合わせた統計的関連および神経反応質AIにおける学習を検討します。
具体的には、代数モデルのカウントとまったく同じ半視点が学習にも当てはまることを示します。
これにより、勾配とバックプロパゲーションをさまざまなセミリングに一般化することにより、さまざまな学習アルゴリズムを統合できます。
さらに、よりメモリ効率の高いバックプロパゲーションのために、セマイニングのキャンセルと順序付け特性をどのように活用できるかを示します。
これにより、確率論的論理モデルの最先端の勾配ベースの最適化方法の興味深いバリエーションをいくつか取得できます。
また、扱いやすい回路をカウントする代数モデルが、より効率的な2次の最適化につながらない理由についても説明します。
経験的には、私たちの代数のバックプロパゲーションは、既存のアプローチと比較してかなりのスピードアップを示します。

要約(オリジナル)

Algebraic model counting unifies many inference tasks on logic formulas by exploiting semirings. Rather than focusing on inference, we consider learning, especially in statistical-relational and neurosymbolic AI, which combine logical, probabilistic and neural representations. Concretely, we show that the very same semiring perspective of algebraic model counting also applies to learning. This allows us to unify various learning algorithms by generalizing gradients and backpropagation to different semirings. Furthermore, we show how cancellation and ordering properties of a semiring can be exploited for more memory-efficient backpropagation. This allows us to obtain some interesting variations of state-of-the-art gradient-based optimisation methods for probabilistic logical models. We also discuss why algebraic model counting on tractable circuits does not lead to more efficient second-order optimization. Empirically, our algebraic backpropagation exhibits considerable speed-ups as compared to existing approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google