Categorical Deep Learning: An Algebraic Theory of Architectures

要約

私たちは、深層学習アーキテクチャを指定および研究するための汎用フレームワークのとらえどころのない探求に対する私たちの立場を示します。
私たちの意見は、これまでに行われた主要な試みには、モデルが満たさなければならない制約の指定とその実装の指定の間の一貫した橋渡しが欠けているというものです。
そのような橋の構築に焦点を当てて、私たちは圏論、正確には、パラメトリックマップの 2 圏で評価されるモナドの普遍代数を、ニューラル ネットワーク設計のこれらの特性の両方をエレガントに包含する単一の理論として適用することを提案します。
私たちの立場を守るために、この理論が幾何学的な深層学習によって引き起こされる制約をどのように回復するか、また RNN などのニューラル ネットワークの多様な状況から引き出された多くのアーキテクチャの実装を示します。
また、この理論がコンピューター サイエンスとオートマトン理論の多くの標準的な構成要素をどのように自然にコード化するかについても説明します。

要約(オリジナル)

We present our position on the elusive quest for a general-purpose framework for specifying and studying deep learning architectures. Our opinion is that the key attempts made so far lack a coherent bridge between specifying constraints which models must satisfy and specifying their implementations. Focusing on building a such a bridge, we propose to apply category theory — precisely, the universal algebra of monads valued in a 2-category of parametric maps — as a single theory elegantly subsuming both of these flavours of neural network design. To defend our position, we show how this theory recovers constraints induced by geometric deep learning, as well as implementations of many architectures drawn from the diverse landscape of neural networks, such as RNNs. We also illustrate how the theory naturally encodes many standard constructs in computer science and automata theory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google