Convolutional Filtering and Neural Networks with Non Commutative Algebras

要約

この論文では、非可換畳み込みニューラル ネットワークの代数的一般化を紹介し、研究します。
私たちは代数信号処理の理論を活用して畳み込み非可換アーキテクチャをモデル化し、可換畳み込みニューラル ネットワークの文献で得られた安定限界を拡張する具体的な安定限界を導き出します。
非可換畳み込みアーキテクチャが演算子の空間上の変形に対して安定であることを示します。
非可換信号モデルのスペクトル表現を開発して、非可換フィルターがフーリエ成分を互いに独立して処理することを示します。
特に、非可換モデルにおける信号のスペクトル分解は 1 より大きな次元の固有空間に関連しているが、安定性と選択性の間にはトレードオフが存在し、低次元の行列の空間における行列多項式関数によって制御されることを証明します。
。
このトレードオフは、代数のフィルターが安定するように制限されている場合に、ネットワーク内で点単位の非線形性によって補償される識別性の損失がどのように発生するかを示しています。
この論文で得られた結果は、グループ ニューラル ネットワーク、マルチグラフ ニューラル ネットワーク、クォータニオン ニューラル ネットワークなどの非可換畳み込みアーキテクチャに直接適用および影響を及ぼします。これらについて、摂動が存在する場合の動作を示す一連の数値実験を提供します。

要約(オリジナル)

In this paper we introduce and study the algebraic generalization of non commutative convolutional neural networks. We leverage the theory of algebraic signal processing to model convolutional non commutative architectures, and we derive concrete stability bounds that extend those obtained in the literature for commutative convolutional neural networks. We show that non commutative convolutional architectures can be stable to deformations on the space of operators. We develop the spectral representation of non commutative signal models to show that non commutative filters process Fourier components independently of each other. In particular we prove that although the spectral decompositions of signals in non commutative models are associated to eigenspaces of dimension larger than one, there exists a trade-off between stability and selectivity, which is controlled by matrix polynomial functions in spaces of matrices of low dimension. This tradeoff shows how when the filters in the algebra are restricted to be stable, there is a loss in discriminability that is compensated in the network by the pointwise nonlinearities. The results derived in this paper have direct applications and implications in non commutative convolutional architectures such as group neural networks, multigraph neural networks, and quaternion neural networks, for which we provide a set of numerical experiments showing their behavior when perturbations are present.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google