Developing a Foundation of Vector Symbolic Architectures Using Category Theory

要約

誇張する危険がありますが、機械学習、つまりニューラル ネットワークに対するコネクショニストのアプローチは、現在小さな流行を楽しんでいます。
ただし、これらの方法では大量のデータが必要となり、人間には解釈できないモデルが生成されます。
ニューラル ネットワークおよび勾配ベースの学習と互換性があり、構成性を明示的にモデル化する代替フレームワークは、ベクトル シンボリック アーキテクチャ (VSA) です。
VSA は、高次元ベクトル表現に関する代数のファミリーです。
これらは、人間が実行する神経処理と一種の象徴的推論を統合する必要性から認知科学で生まれました。
機械学習手法はカテゴリ理論分析の恩恵を受けてきましたが、VSA はまだ同様の扱いを受けていません。
この論文では、カテゴリー理論を VSA に適用する最初の試みを紹介します。
具体的には、これら 2 つのトピックの共通点が欠けていることを示す簡単な文献調査を実施し、VSA に対する要望のリストを提供し、VSA が Met のモノイド (カテゴリ) を強化したカテゴリの (ディビジョン) リグとして理解できることを提案します。
Lawvere 計量空間の)。
この最後の貢献は、VSA が現在の実装を超えて一般化される可能性があることを示唆しています。
VSA を圏論に基礎付けることで、学習と認知の内外の他の研究とのより厳密なつながりが生まれることを私たちは望んでいます。

要約(オリジナル)

At the risk of overstating the case, connectionist approaches to machine learning, i.e. neural networks, are enjoying a small vogue right now. However, these methods require large volumes of data and produce models that are uninterpretable to humans. An alternative framework that is compatible with neural networks and gradient-based learning, but explicitly models compositionality, is Vector Symbolic Architectures (VSAs). VSAs are a family of algebras on high-dimensional vector representations. They arose in cognitive science from the need to unify neural processing and the kind of symbolic reasoning that humans perform. While machine learning methods have benefited from category theoretical analyses, VSAs have not yet received similar treatment. In this paper, we present a first attempt at applying category theory to VSAs. Specifically, we conduct a brief literature survey demonstrating the lacking intersection of these two topics, provide a list of desiderata for VSAs, and propose that VSAs may be understood as a (division) rig in a category enriched over a monoid in Met (the category of Lawvere metric spaces). This final contribution suggests that VSAs may be generalised beyond current implementations. It is our hope that grounding VSAs in category theory will lead to more rigorous connections with other research, both within and beyond, learning and cognition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google