Nonlinear functional regression by functional deep neural network with kernel embedding

要約

音声認識、画像分類、自然言語処理など、科学技術のさまざまな分野におけるディープラーニングの急速な発展に伴い、最近では機能デ​​ータ分析 (FDA) にも広く応用され、ある程度の実証的成功を収めています。
ただし、無限次元の入力があるため、関数学習タスク、特に非線形関数回帰には強力な次元削減手法が必要です。
この論文では、スムーズなカーネル積分変換のアイデアに基づいて、効率的で完全にデータに依存した次元削減方法を備えた機能的ディープ ニューラル ネットワークを提案します。
私たちの機能ネットのアーキテクチャは、カーネル埋め込みステップで構成されています。つまり、データ依存のスムース カーネルによる統合変換です。
射影ステップ：埋め込みカーネルに基づく固有関数基底を用いた射影による次元削減。
そして最後に、予測のための表現力豊かなディープ ReLU ニューラル ネットワークです。
スムース カーネル エンベディングの利用により、関数ネットは離散化不変で、効率的で、ノイズの多い観測に対して堅牢になり、入力関数と応答データの両方の情報を利用でき、損なわれない一般化のための離散点の数の要件が低くなります。
パフォーマンス。
これらの機能ネットの利点を検証するために、近似誤差や汎化誤差解析などの理論解析や数値シミュレーションを実施します。

要約(オリジナル)

With the rapid development of deep learning in various fields of science and technology, such as speech recognition, image classification, and natural language processing, recently it is also widely applied in the functional data analysis (FDA) with some empirical success. However, due to the infinite dimensional input, we need a powerful dimension reduction method for functional learning tasks, especially for the nonlinear functional regression. In this paper, based on the idea of smooth kernel integral transformation, we propose a functional deep neural network with an efficient and fully data-dependent dimension reduction method. The architecture of our functional net consists of a kernel embedding step: an integral transformation with a data-dependent smooth kernel; a projection step: a dimension reduction by projection with eigenfunction basis based on the embedding kernel; and finally an expressive deep ReLU neural network for the prediction. The utilization of smooth kernel embedding enables our functional net to be discretization invariant, efficient, and robust to noisy observations, capable of utilizing information in both input functions and responses data, and have a low requirement on the number of discrete points for an unimpaired generalization performance. We conduct theoretical analysis including approximation error and generalization error analysis, and numerical simulations to verify these advantages of our functional net.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google