Hybrid Real- and Complex-valued Neural Network Architecture

要約

\ emphing {hybrid} Real-およびcomplex-valued \ emph {Neural Network}（HNN）アーキテクチャを提案します。これは、実質値の処理の計算効率と複雑な値データを効果的に処理する機能を組み合わせるように設計されています。
複雑な畳み込みを実行する方法を示すことにより、本質的に複雑な価値の問題に実質価値のあるニューラルネットワーク（RVNN）を使用することの制限を説明しますが、その実質値の制約に由来する顕著な非効率性を備えています。
HNNを作成するには、ドメイン間の情報がドメイン変換関数を介して交換される、実世界と複雑なパスの両方を含むビルディングブロックを使用することを提案します。
また、より高い一般化とパラメーター化効率を備えた、新しい複合値の活性化機能も導入します。
HNN固有のアーキテクチャ検索手法については、より大きなソリューション空間をナビゲートするために説明されています。
Audiomnist Datasetを使用した実験は、HNNがエントロピーの喪失を減らし、すべての考慮されたケースでRVNNに比べてパラメーターを消費することを示しています。
このような結果は、多くの信号処理ドメインでHNNのニューラルネットワークおよびアプリケーションで部分的に複雑な処理を使用する可能性を強調しています。

要約(オリジナル)

We propose a \emph{hybrid} real- and complex-valued \emph{neural network} (HNN) architecture, designed to combine the computational efficiency of real-valued processing with the ability to effectively handle complex-valued data. We illustrate the limitations of using real-valued neural networks (RVNNs) for inherently complex-valued problems by showing how it learnt to perform complex-valued convolution, but with notable inefficiencies stemming from its real-valued constraints. To create the HNN, we propose to use building blocks containing both real- and complex-valued paths, where information between domains is exchanged through domain conversion functions. We also introduce novel complex-valued activation functions, with higher generalisation and parameterisation efficiency. HNN-specific architecture search techniques are described to navigate the larger solution space. Experiments with the AudioMNIST dataset demonstrate that the HNN reduces cross-entropy loss and consumes less parameters compared to an RVNN for all considered cases. Such results highlight the potential for the use of partially complex-valued processing in neural networks and applications for HNNs in many signal processing domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google