A Neuro-vector-symbolic Architecture for Solving Raven’s Progressive Matrices

要約

ディープニューラルネットワークもシンボリックAIも、単独では人間に表現されるような知性には近づいていない。これは主に、ニューラルネットワークが共同表現を分解して別個の対象を得ることができないこと（いわゆる結合問題）と、記号AIが網羅的なルール検索に苦しんでいることなどによる。この2つの問題は、2つのパラダイムの長所を組み合わせることを目的とするニューロシンボリックAIにおいても、依然として顕著である。ここでは、ニューラルネットワークと記号AIの共通言語である高次元分散表現に対する強力な演算子を利用することで、この2つの問題に対処できることを、我々が提案するニューロベクトル-記号アーキテクチャ（NVSA）で示す。NVSAの有効性は、Raven’s progressive matricesデータセットを解くことで実証された。最先端のディープニューラルネットワークやニューロシンボリックアプローチと比較して、NVSAのエンドツーエンドトレーニングは、RAVENで87.7%、I-RAVENデータセットで88.1%の平均精度を達成し、新記録を達成しています。さらに、ニューロシンボリックアプローチの記号的推論と比較して、分散表現に対するより安価な演算を用いたNVSAの確率的推論は2桁の速さである。我々のコードは https://github.com/IBM/neuro-vector-symbolic-architectures で公開されています。

要約(オリジナル)

Neither deep neural networks nor symbolic AI alone has approached the kind of intelligence expressed in humans. This is mainly because neural networks are not able to decompose joint representations to obtain distinct objects (the so-called binding problem), while symbolic AI suffers from exhaustive rule searches, among other problems. These two problems are still pronounced in neuro-symbolic AI which aims to combine the best of the two paradigms. Here, we show that the two problems can be addressed with our proposed neuro-vector-symbolic architecture (NVSA) by exploiting its powerful operators on high-dimensional distributed representations that serve as a common language between neural networks and symbolic AI. The efficacy of NVSA is demonstrated by solving the Raven’s progressive matrices datasets. Compared to state-of-the-art deep neural network and neuro-symbolic approaches, end-to-end training of NVSA achieves a new record of 87.7% average accuracy in RAVEN, and 88.1% in I-RAVEN datasets. Moreover, compared to the symbolic reasoning within the neuro-symbolic approaches, the probabilistic reasoning of NVSA with less expensive operations on the distributed representations is two orders of magnitude faster. Our code is available at https://github.com/IBM/neuro-vector-symbolic-architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL