The Galerkin method beats Graph-Based Approaches for Spectral Algorithms

要約

歴史的に、機械学習コミュニティはグラフベースのアプローチからスペクトル分解を導き出してきました。
我々はこのアプローチを打ち破り、研究を少数のテスト関数に限定することから成るガラーキン法の統計的および計算上の優位性を証明します。
特に、構造化カーネルを使用して大次元の微分演算子を処理するための実装テクニックを紹介します。
最後に、損失ベースの最適化手順を通じて、コア原則をアプローチを超えて拡張し、ディープ ニューラル ネットワークによってパラメーター化された関数などの関数の非線形空間に適用します。

要約(オリジナル)

Historically, the machine learning community has derived spectral decompositions from graph-based approaches. We break with this approach and prove the statistical and computational superiority of the Galerkin method, which consists in restricting the study to a small set of test functions. In particular, we introduce implementation tricks to deal with differential operators in large dimensions with structured kernels. Finally, we extend on the core principles beyond our approach to apply them to non-linear spaces of functions, such as the ones parameterized by deep neural networks, through loss-based optimization procedures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google