PHNNs: Lightweight Neural Networks via Parameterized Hypercomplex Convolutions

要約

ハイパーコンプレックス ニューラル ネットワークは、クリフォード代数の特性を活用することで、貴重なパフォーマンスを確保しながら、パラメーターの総数を削減することが証明されています。
最近、超複雑な線形層は、効率的なパラメーター化されたクロネッカー積を使用することでさらに改善されました。
この論文では、ハイパーコンプレックス畳み込み層のパラメーター化を定義し、軽量で効率的な大規模モデルであるパラメーター化されたハイパーコンプレックス ニューラル ネットワーク (PHNN) のファミリーを紹介します。
私たちの方法は、厳密に事前定義されたドメイン構造に従う必要なく、データから直接畳み込みルールとフィルター構成を把握します。
PHNN は、代数規則が事前に設定されているかどうかに関係なく、1D から $n$D までの任意のユーザー定義または調整されたドメインで柔軟に動作します。
このような可鍛性により、カラー画像などの 3D 入力のクォータニオン ニューラル ネットワークで行われるように、さらに次元を付加することなく、自然な領域で多次元入力を処理できます。
その結果、提案された PHNN ファミリーは、実際のドメインでのアナログに関して、$1/n$ 自由なパラメーターで動作します。
さまざまな画像データセットと音声データセットで実験を実行することにより、複数のアプリケーション ドメインに対するこのアプローチの汎用性を実証します。
完全なコードは https://github.com/eleGAN23/HyperNets で入手できます。

要約(オリジナル)

Hypercomplex neural networks have proven to reduce the overall number of parameters while ensuring valuable performance by leveraging the properties of Clifford algebras. Recently, hypercomplex linear layers have been further improved by involving efficient parameterized Kronecker products. In this paper, we define the parameterization of hypercomplex convolutional layers and introduce the family of parameterized hypercomplex neural networks (PHNNs) that are lightweight and efficient large-scale models. Our method grasps the convolution rules and the filter organization directly from data without requiring a rigidly predefined domain structure to follow. PHNNs are flexible to operate in any user-defined or tuned domain, from 1D to $n$D regardless of whether the algebra rules are preset. Such a malleability allows processing multidimensional inputs in their natural domain without annexing further dimensions, as done, instead, in quaternion neural networks for 3D inputs like color images. As a result, the proposed family of PHNNs operates with $1/n$ free parameters as regards its analog in the real domain. We demonstrate the versatility of this approach to multiple domains of application by performing experiments on various image datasets as well as audio datasets in which our method outperforms real and quaternion-valued counterparts. Full code is available at: https://github.com/eleGAN23/HyperNets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google