Approximation analysis of CNNs from a feature extraction view

要約

ディープ ニューラル ネットワークに基づくディープ ラーニングは、多くの実用的なアプリケーションで大きな成功を収めていますが、ネットワークのアーキテクチャと構造のため、十分な理論的理解が不足しています。
この論文では、ディープ マルチチャネル畳み込みニューラル ネットワーク (CNN) による線形特徴抽出のための分析を確立します。これは、フーリエ、ウェーブレット、冗長辞書コーディング手法などの従来の線形変換を超えるディープ ラーニングの能力を実証します。
さらに、線形特徴抽出がマルチチャネル CNN でどのように効率的に実行できるかを示す正確な構成を示します。
高次元関数を近似するために必要な次元を下げるために適用できます。
チャネルで実装され、その後に全結合層が続くような深いネットワークによる関数近似の速度も調査されます。
線形特徴を多重解像度畳み込みに因数分解するための調和解析は、私たちの研究において重要な役割を果たします。
それにもかかわらず、行列の専用ベクトル化が構築され、1D CNN と 2D CNN を橋渡しし、対応する 2D 解析を可能にします。

要約(オリジナル)

Deep learning based on deep neural networks has been very successful in many practical applications, but it lacks enough theoretical understanding due to the network architectures and structures. In this paper we establish some analysis for linear feature extraction by a deep multi-channel convolutional neural networks (CNNs), which demonstrates the power of deep learning over traditional linear transformations, like Fourier, wavelets, redundant dictionary coding methods. Moreover, we give an exact construction presenting how linear features extraction can be conducted efficiently with multi-channel CNNs. It can be applied to lower the essential dimension for approximating a high dimensional function. Rates of function approximation by such deep networks implemented with channels and followed by fully-connected layers are investigated as well. Harmonic analysis for factorizing linear features into multi-resolution convolutions plays an essential role in our work. Nevertheless, a dedicate vectorization of matrices is constructed, which bridges 1D CNN and 2D CNN and allows us to have corresponding 2D analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google