Training Neural Networks Using Reproducing Kernel Space Interpolation and Model Reduction

要約

カーネル ヒルベルト空間理論の再現による補間技術を使用したニューラル ネットワークのトレーニング理論を紹介し、研究します。
我々はこの方法をケリン空間に一般化し、広く使用されているニューラル ネットワーク アーキテクチャが再現カーネル ケリン空間 (RKKS) のサブセットであることを示します。
私たちは、RKKS の「関連ヒルベルト空間」の概念を研究し、さまざまな活性化関数の表現力を向上させる手法を開発します。
次に、いくつかの複素変数の関数理論の概念を使用して、有名なアダムジャン・アロフ・クライン (AAK) 定理の計算上適用可能な多次元一般化を証明します。
この定理により、延長ニューラル ネットワーク (PNN) と呼ばれる新しいクラスのニューラル ネットワークが得られます。
多次元 AAK 定理を適用して PNN を取得することにより、ノイズの多い環境において、補間方法と現在の最先端の方法の両方よりも優れたパフォーマンスを得ることができることを実証します。
実際に私たちのメソッドを説明するための役立つ図を提供します。

要約(オリジナル)

We introduce and study the theory of training neural networks using interpolation techniques from reproducing kernel Hilbert space theory. We generalize the method to Krein spaces, and show that widely-used neural network architectures are subsets of reproducing kernel Krein spaces (RKKS). We study the concept of ‘associated Hilbert spaces’ of RKKS and develop techniques to improve upon the expressivity of various activation functions. Next, using concepts from the theory of functions of several complex variables, we prove a computationally applicable, multidimensional generalization of the celebrated Adamjan- Arov-Krein (AAK) theorem. The theorem yields a novel class of neural networks, called Prolongation Neural Networks (PNN). We demonstrate that, by applying the multidimensional AAK theorem to gain a PNN, one can gain performance superior to both our interpolatory methods and current state-of-the-art methods in noisy environments. We provide useful illustrations of our methods in practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google