Spherical Inducing Features for Orthogonally-Decoupled Gaussian Processes

要約

タイトル：正交分解型ガウス過程の球状誘導特徴量

要約：
– 一般的に、ガウス過程（GPs）はディープニューラルネットワーク（NN）に比べて、表現の学習能力に欠けるため、評価が低い。
– これらの違いを取り除くため、新しく開発された「相互ドメイン変分ガウス過程」のクラスでは、誘導変数が「feedforward NN」の隠れ層に対応している。
– 本研究では、このアプローチに関連する実際的な問題を検討し、GPsの直交分解を活用した拡張提案を行います。
– 特に、球状相互ドメイン特徴を導入して、GP近似の主要および直交成分のための柔軟なデータ依存型基底関数を構築し、このフレームワークの下でNN活性化特徴を組み込むことで、これらの制限を緩和し、他の戦略よりもスケーラブルです。
– 複数のベンチマークデータセットでの実験により、本手法の有効性が示されました。

要約(オリジナル)

Despite their many desirable properties, Gaussian processes (GPs) are often compared unfavorably to deep neural networks (NNs) for lacking the ability to learn representations. Recent efforts to bridge the gap between GPs and deep NNs have yielded a new class of inter-domain variational GPs in which the inducing variables correspond to hidden units of a feedforward NN. In this work, we examine some practical issues associated with this approach and propose an extension that leverages the orthogonal decomposition of GPs to mitigate these limitations. In particular, we introduce spherical inter-domain features to construct more flexible data-dependent basis functions for both the principal and orthogonal components of the GP approximation and show that incorporating NN activation features under this framework not only alleviates these shortcomings but is more scalable than alternative strategies. Experiments on multiple benchmark datasets demonstrate the effectiveness of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI