Universal approximation property of Banach space-valued random feature models including random neural networks

要約

大規模なカーネル近似のためのデータ駆動型教師あり機械学習手法である、ランダム特徴学習のバナッハ空間値拡張を紹介します。
特徴マップをランダムに初期化することにより、線形読み出しのみをトレーニングする必要があり、計算の複雑さが大幅に軽減されます。
ランダム特徴モデルをバナッハ空間値の確率変数とみなして、対応するボフナー空間での普遍的な近似結果を証明します。
さらに、そのようなモデルによって与えられたバナッハ空間の要素を学習するための近似率と明示的なアルゴリズムを導き出します。
この論文のフレームワークには、ランダム三角関数/フーリエ回帰、特に重みとバイアスがランダムに初期化される単一隠れ層フィードフォワード ニューラル ネットワークであるランダム ニューラル ネットワークが含まれており、線形読み出しのみをトレーニングする必要があります。
後者の場合、重み付き空間、$L^p$ 空間、(重み付き) ソボレフ空間などの非コンパクト領域上の関数空間内であっても、決定論的ニューラル ネットワークの普遍的な近似特性をランダム ニューラル ネットワークに引き上げることができます。
ここで、後者には (弱い) 導関数の近似が含まれます。
さらに、特定の関数を近似するためのトレーニング コストが、入出力次元と事前に指定された許容近似誤差の逆数の両方で多項式に増加する場合を分析します。
さらに、数値例で、決定論的な対応モデルに対するランダム特徴モデルの経験的な利点を示します。

要約(オリジナル)

We introduce a Banach space-valued extension of random feature learning, a data-driven supervised machine learning technique for large-scale kernel approximation. By randomly initializing the feature maps, only the linear readout needs to be trained, which reduces the computational complexity substantially. Viewing random feature models as Banach space-valued random variables, we prove a universal approximation result in the corresponding Bochner space. Moreover, we derive approximation rates and an explicit algorithm to learn an element of the given Banach space by such models. The framework of this paper includes random trigonometric/Fourier regression and in particular random neural networks which are single-hidden-layer feedforward neural networks whose weights and biases are randomly initialized, whence only the linear readout needs to be trained. For the latter, we can then lift the universal approximation property of deterministic neural networks to random neural networks, even within function spaces over non-compact domains, e.g., weighted spaces, $L^p$-spaces, and (weighted) Sobolev spaces, where the latter includes the approximation of the (weak) derivatives. In addition, we analyze when the training costs for approximating a given function grow polynomially in both the input/output dimension and the reciprocal of a pre-specified tolerated approximation error. Furthermore, we demonstrate in a numerical example the empirical advantages of random feature models over their deterministic counterparts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google