Equivariant non-linear maps for neural networks on homogeneous spaces

要約

このペーパーでは、均一な空間上の非線形等量ニューラルネットワーク層の新しいフレームワークを紹介します。
コーエンらの独創的な作品。
均一なスペースの等量$ g $ -cnnsは、線形設定でのそのような層の表現理論を特徴づけ、いわゆる操縦性の制約を満たすカーネルとの畳み込みによって与えられることを発見しました。
自己attentionや入力に依存するカーネルなどの非線形層の経験的成功に動機付けられ、これらの洞察を非線形設定に一般化することに着手しました。
私たちは、そのようなレイヤーが建設の普遍性を満たし、証明するために必要な一般化された操縦性の制約を導き出します。
特徴マップとグループ要素に対する等量演算子の対称的に制約された機能的依存性に獲得された洞察は、将来の等量ニューラルネットワーク層の設計を通知します。
$ g $ -cnns、暗黙的な操縦可能なカーネルネットワーク、従来の相対位置埋め込み注意ベースのトランス、およびレトランファーザーがフレームワークから導き出される方法をいくつか示します。

要約(オリジナル)

This paper presents a novel framework for non-linear equivariant neural network layers on homogeneous spaces. The seminal work of Cohen et al. on equivariant $G$-CNNs on homogeneous spaces characterized the representation theory of such layers in the linear setting, finding that they are given by convolutions with kernels satisfying so-called steerability constraints. Motivated by the empirical success of non-linear layers, such as self-attention or input dependent kernels, we set out to generalize these insights to the non-linear setting. We derive generalized steerability constraints that any such layer needs to satisfy and prove the universality of our construction. The insights gained into the symmetry-constrained functional dependence of equivariant operators on feature maps and group elements informs the design of future equivariant neural network layers. We demonstrate how several common equivariant network architectures – $G$-CNNs, implicit steerable kernel networks, conventional and relative position embedded attention based transformers, and LieTransformers – may be derived from our framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google