Optimisation in Neurosymbolic Learning Systems

要約

ニューロシンボリック AI は、深層学習と記号 AI を統合することを目的としています。
この統合には、ニューラル ネットワークのトレーニングに必要なデータ量の削減、モデルによって得られる答えの説明可能性と解釈可能性の向上、トレーニングされたシステムの正確性の検証など、多くの期待があります。
私たちは神経象徴学習を研究しています。この学習では、記号言語を使用して表現されたデータと背景知識の両方が得られます。
この知識を伝達するには、記号コンポーネントと神経コンポーネントをどのように接続すればよいでしょうか?
1 つのオプションは、真実度を研究するファジィ推論です。
たとえば、背が高いということは二項対立の概念ではありません。
代わりに、確率論的推論では、何かが真実である、または何かが起こる確率を研究します。
私たちの最初の研究課題は、さまざまな形式のファジー推論が学習とどのように組み合わされるかを研究します。
緑のリンゴを観察すると「カラスは黒い」と確信するというカラスのパラドックスとの関連など、驚くべき結果が見つかりました。
この研究では、トレーニング後にモデルをデプロイするときに背景知識を使用しませんでした。
2 番目の研究課題では、展開されたモデルで背景知識を使用する方法を研究しました。
ファジィ推論に基づいて新しいニューラル ネットワーク層を開発しました。
確率的推論は、通常、確率的になるようにトレーニングされるニューラル ネットワークに自然に適合します。
ただし、計算コストが高く、大規模なタスクにはうまく拡張できません。
3 番目の研究課題では、平均を推定するためのサンプリングによって確率論的推論をニューラル ネットワークに接続する方法を研究します。一方、最後の研究課題では、確率的神経記号学習を以前よりもはるかに大きな問題に拡張することを研究します。
私たちの洞察は、合成データを使用してニューラル ネットワークをトレーニングし、確率的推論の結果を予測することです。

要約(オリジナル)

Neurosymbolic AI aims to integrate deep learning with symbolic AI. This integration has many promises, such as decreasing the amount of data required to train a neural network, improving the explainability and interpretability of answers given by models and verifying the correctness of trained systems. We study neurosymbolic learning, where we have both data and background knowledge expressed using symbolic languages. How do we connect the symbolic and neural components to communicate this knowledge? One option is fuzzy reasoning, which studies degrees of truth. For example, being tall is not a binary concept. Instead, probabilistic reasoning studies the probability that something is true or will happen. Our first research question studies how different forms of fuzzy reasoning combine with learning. We find surprising results like a connection to the Raven paradox stating we confirm ‘ravens are black’ when we observe a green apple. In this study, we did not use the background knowledge when we deployed our models after training. In our second research question, we studied how to use background knowledge in deployed models. We developed a new neural network layer based on fuzzy reasoning. Probabilistic reasoning is a natural fit for neural networks, which we usually train to be probabilistic. However, they are expensive to compute and do not scale well to large tasks. In our third research question, we study how to connect probabilistic reasoning with neural networks by sampling to estimate averages, while in the final research question, we study scaling probabilistic neurosymbolic learning to much larger problems than before. Our insight is to train a neural network with synthetic data to predict the result of probabilistic reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google