Sparse Gaussian Processes with Spherical Harmonic Features Revisited

要約

球面調和関数を使用してガウス過程モデルを再検討し、関連する RKHS、その固有構造、および深層モデルの間の接続を調べます。
これに基づいて、連続深度の深いモデルに対応するカーネルの新しいクラスを導入します。
私たちの定式化では、証拠の下限を最適化することにより、深さをカーネルハイパーパラメーターとして推定できます。
さらに、球面調和位相の変分学習によって固有基底にまばらさを導入します。
これにより、以前よりも大きな入力次元へのスケーリングが可能になり、高周波変動の学習も可能になります。
機械学習ベンチマーク データセットでアプローチを検証します。

要約(オリジナル)

We revisit the Gaussian process model with spherical harmonic features and study connections between the associated RKHS, its eigenstructure and deep models. Based on this, we introduce a new class of kernels which correspond to deep models of continuous depth. In our formulation, depth can be estimated as a kernel hyper-parameter by optimizing the evidence lower bound. Further, we introduce sparseness in the eigenbasis by variational learning of the spherical harmonic phases. This enables scaling to larger input dimensions than previously, while also allowing for learning of high frequency variations. We validate our approach on machine learning benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google