Categorification of Group Equivariant Neural Networks

要約

【タイトル】グループ同変ニューラルネットワークのカテゴリー化

【要約】

– カテゴリー理論を深層学習に応用する新しい手法を提案。
– 群 $S_n$、$O(n)$、$Sp(n)$、$SO(n)$ のテンソル空間 $\mathbb{R}^{n}$ の掛け合わせで構成されるグループ同変ニューラルネットワークの線形層関数を取り扱うためにカテゴリー理論が有効であることを示す。
– カテゴリー理論的な構成法を用いることで、これらのニューラルネットワークの元の定式化では見られない豊かな構造を構築し、新しい洞察を導出することができる。
– 特に、各グループに対し同変線形層を通過するベクトルの結果を迅速に計算するアルゴリズムの開発を概説する。
– この手法の成功から、カテゴリー理論が深層学習の他の分野にも有益な可能性があることが示唆される。

要約(オリジナル)

We present a novel application of category theory for deep learning. We show how category theory can be used to understand and work with the linear layer functions of group equivariant neural networks whose layers are some tensor power space of $\mathbb{R}^{n}$ for the groups $S_n$, $O(n)$, $Sp(n)$, and $SO(n)$. By using category theoretic constructions, we build a richer structure that is not seen in the original formulation of these neural networks, leading to new insights. In particular, we outline the development of an algorithm for quickly computing the result of a vector that is passed through an equivariant, linear layer for each group in question. The success of our approach suggests that category theory could be beneficial for other areas of deep learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI