Understanding Vector-Valued Neural Networks and Their Relationship with Real and Hypercomplex-Valued Neural Networks

要約

多次元信号および画像処理のためのディープ ラーニング モデルの適用は数多く成功していますが、従来のニューラル ネットワークのほとんどは、実数の (多次元) 配列で表されるデータを処理します。
特徴チャネル間の相互相関は通常、トレーニング データから学習されることが期待されており、多数のパラメーターと慎重なトレーニングが必要です。
対照的に、ベクトル値ニューラル ネットワークは、ベクトルの配列を処理し、特徴チャネル間の相互相関を自然に考慮するように考えられています。
その結果、通常、従来のニューラル ネットワークよりもパラメーターが少なく、より堅牢なトレーニングを受けることがよくあります。
この論文は、V ネットと呼ばれるベクトル値ニューラル ネットワークの広範なフレームワークを提示することを目的としています。
この文脈では、超複素数値ニューラル ネットワークは、追加の代数的特性を備えたベクトル数値モデルと見なされます。
さらに、この論文ではベクトル値のニューラル ネットワークと従来のニューラル ネットワークの関係について説明します。
正確には、ベクトル値ニューラル ネットワークは、特徴チャネル間の相互相関を考慮するために実数値モデルに制約を課すことによって取得できます。
最後に、超複素数値ニューラル ネットワークを含む V ネットを現在の深層学習ライブラリに実数値ネットワークとして実装する方法を示します。

要約(オリジナル)

Despite the many successful applications of deep learning models for multidimensional signal and image processing, most traditional neural networks process data represented by (multidimensional) arrays of real numbers. The intercorrelation between feature channels is usually expected to be learned from the training data, requiring numerous parameters and careful training. In contrast, vector-valued neural networks are conceived to process arrays of vectors and naturally consider the intercorrelation between feature channels. Consequently, they usually have fewer parameters and often undergo more robust training than traditional neural networks. This paper aims to present a broad framework for vector-valued neural networks, referred to as V-nets. In this context, hypercomplex-valued neural networks are regarded as vector-valued models with additional algebraic properties. Furthermore, this paper explains the relationship between vector-valued and traditional neural networks. Precisely, a vector-valued neural network can be obtained by placing restrictions on a real-valued model to consider the intercorrelation between feature channels. Finally, we show how V-nets, including hypercomplex-valued neural networks, can be implemented in current deep-learning libraries as real-valued networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google