Vecchia Gaussian Process Ensembles on Internal Representations of Deep Neural Networks

要約

回帰タスクの場合、標準的なガウス プロセス (GP) は自然な不確実性の定量化を提供しますが、ディープ ニューラル ネットワーク (DNN) は表現学習に優れています。
我々は、DNN の隠れ層の出力に基づいて構築された GP のアンサンブルで構成されるハイブリッド手法で、これら 2 つのアプローチを相乗的に組み合わせることを提案します。
GP スケーラビリティは、最近傍条件付き独立性を利用する Vecchia 近似によって実現されます。
結果として得られるディープ Vecchia アンサンブルは、DNN に不確実性の定量化を与えるだけでなく、より正確で堅牢な予測を提供することもできます。
いくつかのデータセットでモデルの有用性を実証し、提案された方法の内部動作を理解するために実験を実行します。

要約(オリジナル)

For regression tasks, standard Gaussian processes (GPs) provide natural uncertainty quantification, while deep neural networks (DNNs) excel at representation learning. We propose to synergistically combine these two approaches in a hybrid method consisting of an ensemble of GPs built on the output of hidden layers of a DNN. GP scalability is achieved via Vecchia approximations that exploit nearest-neighbor conditional independence. The resulting deep Vecchia ensemble not only imbues the DNN with uncertainty quantification but can also provide more accurate and robust predictions. We demonstrate the utility of our model on several datasets and carry out experiments to understand the inner workings of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google