A Characterization Theorem for Equivariant Networks with Point-wise Activations

要約

等変ニューラル ネットワークは、対称領域でのパフォーマンス、表現力、サンプルの複雑さの向上を示しています。
しかし、一部の特定の対称性、表現、座標の選択では、ReLU などの最も一般的な点単位の活性化は等変ではないため、等変ニューラル ネットワークの設計には使用できません。
この論文で提示する定理は、正確に等変な層を取得するための有限次元表現、座標の選択、点単位のアクティベーションのすべての可能な組み合わせを記述し、既存の特性評価を一般化および強化します。
実際に関連する注目すべき事例が結果として議論されます。
実際、我々は、回転等変ネットワークは、接続されたコンパクトなグループに関して等変であるあらゆるネットワークで起こるように、不変でしかあり得ないことを証明します。
次に、完全に等変なネットワークの重要なインスタンスに適用した場合の発見の影響について説明します。
まず、点単位の非線形性を備えたインバリアント グラフ ネットワークやその幾何学的対応物などの順列等変ネットワークを完全に特徴付け、表現力とパフォーマンスがまだ不明な多数のモデルを強調します。
第二に、もつれを解いた操縦可能な畳み込みニューラル ネットワークの特徴空間が自明な表現であることを示します。

要約(オリジナル)

Equivariant neural networks have shown improved performance, expressiveness and sample complexity on symmetrical domains. But for some specific symmetries, representations, and choice of coordinates, the most common point-wise activations, such as ReLU, are not equivariant, hence they cannot be employed in the design of equivariant neural networks. The theorem we present in this paper describes all possible combinations of finite-dimensional representations, choice of coordinates and point-wise activations to obtain an exactly equivariant layer, generalizing and strengthening existing characterizations. Notable cases of practical relevance are discussed as corollaries. Indeed, we prove that rotation-equivariant networks can only be invariant, as it happens for any network which is equivariant with respect to connected compact groups. Then, we discuss implications of our findings when applied to important instances of exactly equivariant networks. First, we completely characterize permutation equivariant networks such as Invariant Graph Networks with point-wise nonlinearities and their geometric counterparts, highlighting a plethora of models whose expressive power and performance are still unknown. Second, we show that feature spaces of disentangled steerable convolutional neural networks are trivial representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google