Decomposition of Equivariant Maps via Invariant Maps: Application to Universal Approximation under Symmetry

要約

この論文では、群 $G$ に関して不変写像と等変写像の関係についての理論を展開します。
次に、グループ対称性を持つディープ ニューラル ネットワークのコンテキストでこの理論を活用し、そのメカニズムについての新しい洞察を取得します。
より正確には、等変マップと特定の不変マップの間に 1 対 1 の関係を確立します。
これにより、等変マップの引数を不変マップの引数に減らすことができ、またその逆も可能になります。
応用として、普遍的な不変ネットワークから構築される普遍的な等変アーキテクチャの構築を提案します。
次に、私たちの構築から生じる普遍的なアーキテクチャが、普遍的であることが知られている標準的な同等のアーキテクチャとどのように異なるかを説明します。
さらに、モデルの自由パラメータの数の観点から複雑さを調査し、不変ネットワークと等変ネットワークの複雑性の間の関係について議論します。
最後に、有限群 G に対する ReLU 活性化関数を備えた G 等変ディープ ニューラル ネットワークの近似率も示します。

要約(オリジナル)

In this paper, we develop a theory about the relationship between invariant and equivariant maps with regard to a group $G$. We then leverage this theory in the context of deep neural networks with group symmetries in order to obtain novel insight into their mechanisms. More precisely, we establish a one-to-one relationship between equivariant maps and certain invariant maps. This allows us to reduce arguments for equivariant maps to those for invariant maps and vice versa. As an application, we propose a construction of universal equivariant architectures built from universal invariant networks. We, in turn, explain how the universal architectures arising from our construction differ from standard equivariant architectures known to be universal. Furthermore, we explore the complexity, in terms of the number of free parameters, of our models, and discuss the relation between invariant and equivariant networks’ complexity. Finally, we also give an approximation rate for G-equivariant deep neural networks with ReLU activation functions for finite group G.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google