Discrete, compositional, and symbolic representations through attractor dynamics

要約

記号システムは、人間の推論と行動の多くの側面の基本となる規則と関係をカプセル化するため、認知プロセスをモデル化するための強力なフレームワークです。
これらのモデルの中心となるのは体系性、構成性、生産性であり、認知科学と人工知能の両方において非常に貴重なものとなっています。
ただし、一定の制限が残ります。
たとえば、構造化されたシンボリック プロセスと潜在的なサブシンボリック プロセスの統合は、量子化やソフトマックス サンプリングなどの法定手法を介して計算レベルで実装されています。これらの手法は、離散化とシンボリック化を支える演算を導出するのではなく、想定しています。
この研究では、アトラクターダイナミクスと記号表現を統合して、確率的思考言語 (PLoT) に似た認知プロセスをモデル化する、新しい神経確率力学システム モデルを導入します。
私たちのモデルは、連続表現空間を記号シーケンスに対応するアトラクター状態を持つ離散盆地に分割します。これは、事前定義されたプリミティブに依存するのではなく、教師なし学習を通じて記号システムの意味論性と構成性を反映します。
さらに、PLoT と同様に、私たちのモデルは、入力データとシンボリック エンコーディング間の相互情報を反映するアトラクター状態の多様な分布をサンプリングすることを学習します。
このアプローチは、ニューラル ダイナミクスを通じて記号処理とサブ記号処理の両方を統合する統一フレームワークを確立します。ニューラル ダイナミクスは、AI で実証済みの表現力を備えた神経的に妥当な基盤であり、認知操作の複雑な二重性を反映するより包括的なモデルを提供します。

要約(オリジナル)

Symbolic systems are powerful frameworks for modeling cognitive processes as they encapsulate the rules and relationships fundamental to many aspects of human reasoning and behavior. Central to these models are systematicity, compositionality, and productivity, making them invaluable in both cognitive science and artificial intelligence. However, certain limitations remain. For instance, the integration of structured symbolic processes and latent sub-symbolic processes has been implemented at the computational level through fiat methods such as quantization or softmax sampling, which assume, rather than derive, the operations underpinning discretization and symbolicization. In this work, we introduce a novel neural stochastic dynamical systems model that integrates attractor dynamics with symbolic representations to model cognitive processes akin to the probabilistic language of thought (PLoT). Our model segments the continuous representational space into discrete basins, with attractor states corresponding to symbolic sequences, that reflect the semanticity and compositionality characteristic of symbolic systems through unsupervised learning, rather than relying on pre-defined primitives. Moreover, like PLoT, our model learns to sample a diverse distribution of attractor states that reflect the mutual information between the input data and the symbolic encodings. This approach establishes a unified framework that integrates both symbolic and sub-symbolic processing through neural dynamics, a neuro-plausible substrate with proven expressivity in AI, offering a more comprehensive model that mirrors the complex duality of cognitive operations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google