Learning Theory of Distribution Regression with Neural Networks

要約

本論文では、全結合ニューラルネットワーク(FNN)を介した分布回帰の近似理論と学習理論の確立を目的としています。
古典的な回帰手法とは対照的に、分布回帰の入力変数は確率測度です。
その後、多くの場合、分布の実際の情報を近似するために、第 2 段階のサンプリング プロセスを実行する必要があります。
一方、古典的なニューラル ネットワーク構造では、入力変数がベクトルである必要があります。
入力サンプルが確率分布である場合、従来のディープ ニューラル ネットワーク手法を直接使用することはできず、分布回帰が困難になります。
分布入力用の明確に定義されたニューラル ネットワーク構造が強く望まれています。
ニューラルネットワークによる分布回帰の実現に関する数学的モデルや理論的分析は存在しません。
技術的困難を克服し、この問題に対処するために、ボレル確率測度の空間上で定義された関数の近似理論を実現する新しい完全接続ニューラル ネットワーク フレームワークを確立します。
さらに、確立された関数近似結果に基づいて、分布入力を備えた新しい FNN 構造によって誘導された仮説空間で、対数項までの提案された分布回帰モデルのほぼ最適な学習率が、新しい 2 段階誤差分解手法によって導出されます。

要約(オリジナル)

In this paper, we aim at establishing an approximation theory and a learning theory of distribution regression via a fully connected neural network (FNN). In contrast to the classical regression methods, the input variables of distribution regression are probability measures. Then we often need to perform a second-stage sampling process to approximate the actual information of the distribution. On the other hand, the classical neural network structure requires the input variable to be a vector. When the input samples are probability distributions, the traditional deep neural network method cannot be directly used and the difficulty arises for distribution regression. A well-defined neural network structure for distribution inputs is intensively desirable. There is no mathematical model and theoretical analysis on neural network realization of distribution regression. To overcome technical difficulties and address this issue, we establish a novel fully connected neural network framework to realize an approximation theory of functionals defined on the space of Borel probability measures. Furthermore, based on the established functional approximation results, in the hypothesis space induced by the novel FNN structure with distribution inputs, almost optimal learning rates for the proposed distribution regression model up to logarithmic terms are derived via a novel two-stage error decomposition technique.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google