Category-Theoretical and Topos-Theoretical Frameworks in Machine Learning: A Survey

要約

本サーベイでは、カテゴリ理論に基づく機械学習を、勾配に基づく学習、確率に基づく学習、不変性と同値性に基づく学習、トポスに基づく学習という4つの主要な観点から概観する。最初の3つのトピックについては、主に過去5年間の研究をレビューし、Shieblerらによる前回のサーベイを更新・拡張する。4番目のトピックは、高次カテゴリー理論、特にトポス理論に踏み込んだもので、本稿で初めて調査する。ある種の機械学習法では、ファンクタの構成性が重要な役割を果たし、特定のカテゴリー的フレームワークの開発を促している。しかし、ネットワークの大域的な性質が局所的な構造にどのように反映されるのか、幾何学的な性質が論理でどのように表現されるのかを考えるとき、トポス構造は特に重要かつ奥深いものとなる。

要約(オリジナル)

In this survey, we provide an overview of category theory-derived machine learning from four mainstream perspectives: gradient-based learning, probability-based learning, invariance and equivalence-based learning, and topos-based learning. For the first three topics, we primarily review research in the past five years, updating and expanding on the previous survey by Shiebler et al.. The fourth topic, which delves into higher category theory, particularly topos theory, is surveyed for the first time in this paper. In certain machine learning methods, the compositionality of functors plays a vital role, prompting the development of specific categorical frameworks. However, when considering how the global properties of a network reflect in local structures and how geometric properties are expressed with logic, the topos structure becomes particularly significant and profound.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL