Densely Connected $G$-invariant Deep Neural Networks with Signed Permutation Representations

要約

有限群 $G$ に対して、密に接続された ReLU アクティベーションを備えた $G$-invariant ディープ ニューラル ネットワーク ($G$-DNN) アーキテクチャを導入し、調査します。つまり、すべての可能なスキップ接続を含みます。
文献にある他の $G$ 不変アーキテクチャとは対照的に、ここに示す $G$-DNN の事前活性化は、$G$ の \emph{signed} 順列表現 (signed perm-reps) によって変換できます。
さらに、$G$-DNN の個々の層が $G$-equivariant である必要はありません。
代わりに、事前活性化は、すべての層にわたって重みを結合する方法で、ネットワーク入力の $G$ 等価関数になるように制約されます。
その結果、これまでに見られなかった $G$ 不変アーキテクチャの豊富なファミリが実現します。
重みの再パラメータ化の後に $G$-DNN の効率的な実装を導出し、アーキテクチャが「許容される」ための必要十分条件を導き出します。
ユーザーがレイヤーごとにインタラクティブに $G$-DNN を構築できるようにするコードが含まれており、最終的なアーキテクチャは許容できることが保証されています。
最後に、$G$-DNN を 2 つの問題例に適用します。(1) $\{-1, 1\}$ の乗算 (理論上の保証あり) と (2) 3D オブジェクトの分類です。
perm-reps は、通常の (つまり、署名されていない) perm-reps のみのベースラインと比較して、予測パフォーマンスを大幅に向上させます。

要約(オリジナル)

We introduce and investigate, for finite groups $G$, $G$-invariant deep neural network ($G$-DNN) architectures with ReLU activation that are densely connected — i.e., include all possible skip connections. In contrast to other $G$-invariant architectures in the literature, the preactivations of the$G$-DNNs presented here are able to transform by \emph{signed} permutation representations (signed perm-reps) of $G$. Moreover, the individual layers of the $G$-DNNs are not required to be $G$-equivariant; instead, the preactivations are constrained to be $G$-equivariant functions of the network input in a way that couples weights across all layers. The result is a richer family of $G$-invariant architectures never seen previously. We derive an efficient implementation of $G$-DNNs after a reparameterization of weights, as well as necessary and sufficient conditions for an architecture to be ‘admissible’ — i.e., nondegenerate and inequivalent to smaller architectures. We include code that allows a user to build a $G$-DNN interactively layer-by-layer, with the final architecture guaranteed to be admissible. Finally, we apply $G$-DNNs to two example problems — (1) multiplication in $\{-1, 1\}$ (with theoretical guarantees) and (2) 3D object classification — finding that the inclusion of signed perm-reps significantly boosts predictive performance compared to baselines with only ordinary (i.e., unsigned) perm-reps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google