Random feature approximation for general spectral methods

要約

ランダム特徴近似はおそらく、大規模アルゴリズムにおけるカーネル メソッドを高速化するための最も一般的な手法の 1 つであり、ディープ ニューラル ネットワークの分析に理論的なアプローチを提供します。
私たちは、勾配降下法などの暗黙的な正則化やチホノフ正則化などの明示的手法を使用したカーネル メソッドを含む、ランダム特徴と組み合わせた大規模なクラスのスペクトル正則化手法の一般化プロパティを分析します。
私たちの推定器では、適切なソース条件を通じて定義された規則性クラス (再現カーネル ヒルベルト空間に含まれていないクラスであっても) にわたって最適な学習率が得られます。
これにより、特定のカーネル アルゴリズムの関連設定で得られた以前の結果が改善または完全になります。

要約(オリジナル)

Random feature approximation is arguably one of the most popular techniques to speed up kernel methods in large scale algorithms and provides a theoretical approach to the analysis of deep neural networks. We analyze generalization properties for a large class of spectral regularization methods combined with random features, containing kernel methods with implicit regularization such as gradient descent or explicit methods like Tikhonov regularization. For our estimators we obtain optimal learning rates over regularity classes (even for classes that are not included in the reproducing kernel Hilbert space), which are defined through appropriate source conditions. This improves or completes previous results obtained in related settings for specific kernel algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google