A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data

要約

機械学習へのニューラルシンボリックアプローチには、コネクショニスト手法とシンボリック手法の両方の利点が組み込まれています。
通常、これらのモデルは、ニューラル アーキテクチャに基づく最初のモジュールを使用して、複雑なデータから特徴を抽出します。
次に、これらの特徴は、推論、概念構造、構成可能性、より優れた一般化、分布外学習などを提供するシンボリック エンジンによってシンボルとして処理されます。
ただし、感覚データにおけるシンボルの基礎付けに対するニューラル アプローチは、強力ではあるものの、ほとんどの場合、依然として厳しいトレーニングと面倒なラベル付けを必要とします。
この論文では、複雑な空間感覚データから階層概念構造を生成するための新しい記号のみの方法を紹介します。
このアプローチは、アイデアやコンセプトの生成の鍵としてのベイトソンの差異の概念に基づいています。
彼の提案に従って、このモデルは、多変量数値のストリーム内で要素の逐次比較を計算することにより、生データから原子の特徴を抽出します。
これらの特徴を再帰的プロセスでさらに比較することで、より高レベルの構成が構築されます。
再帰のどの段階でも、形式概念分析によってこれらの構成要素と特徴から概念構造を取得できます。
結果は、このモデルがトレーニングなしで、かなりリッチでありながら人間が判読できる概念表現を生成できることを示しています。
さらに、このモデルを通じて得られた概念構造は、(i) 高い構成可能性を示し、「見たことのない」概念の生成を潜在的に可能にし、(ii) 形式的推論を可能にし、(iii) 一般化および分散外学習の固有の能力を備えています。
。
したがって、この方法は現在の神経記号研究に興味深い角度を提供する可能性があります。
より大きなデータセットに対してモデルをテストできるように、トレーニング方法を開発するには今後の作業が必要です。

要約(オリジナル)

Neural-symbolic approaches to machine learning incorporate the advantages from both connectionist and symbolic methods. Typically, these models employ a first module based on a neural architecture to extract features from complex data. Then, these features are processed as symbols by a symbolic engine that provides reasoning, concept structures, composability, better generalization and out-of-distribution learning among other possibilities. However, neural approaches to the grounding of symbols in sensory data, albeit powerful, still require heavy training and tedious labeling for the most part. This paper presents a new symbolic-only method for the generation of hierarchical concept structures from complex spatial sensory data. The approach is based on Bateson’s notion of difference as the key to the genesis of an idea or a concept. Following his suggestion, the model extracts atomic features from raw data by computing elemental sequential comparisons in a stream of multivariate numerical values. Higher-level constructs are built from these features by subjecting them to further comparisons in a recursive process. At any stage in the recursion, a concept structure may be obtained from these constructs and features by means of Formal Concept Analysis. Results show that the model is able to produce fairly rich yet human-readable conceptual representations without training. Additionally, the concept structures obtained through the model (i) present high composability, which potentially enables the generation of ‘unseen’ concepts, (ii) allow formal reasoning, and (iii) have inherent abilities for generalization and out-of-distribution learning. Consequently, this method may offer an interesting angle to current neural-symbolic research. Future work is required to develop a training methodology so that the model can be tested against a larger dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google