Vecchia Gaussian Process Ensembles on Internal Representations of Deep Neural Networks

要約

回帰タスクの場合、標準のガウスプロセス（GPS）は自然な不確実性の定量化（UQ）を提供しますが、深いニューラルネットワーク（DNNS）は表現学習で優れています。
ニューラルネットワークの決定論的UQメソッドは、2つを組み合わせて正常に組み合わせており、ニューラルネットワークを通過する1つのパスのみが必要です。
ただし、現在の方法では、ネットワークトレーニングの変更を必要とし、特徴の崩壊に対処するために、一意の入力が同一の特徴ベクトルにマッピングされます。
別のソリューションであるディープベッキアアンサンブル（DVE）を提案します。これにより、決定論的なUQが機能崩壊の存在下で動作し、ネットワーク再トレーニングの必要性を否定できます。
DVEは、DNNの隠れ層出力に基づいて構築されたGPSのアンサンブルで構成されており、最寄りの条件独立性を活用するVecchia近似を介してスケーラビリティを達成します。
DVEは、前提条件のネットワークと互換性があり、低い計算オーバーヘッドが発生します。
いくつかのデータセットでDVEのユーティリティを実証し、提案された方法の内部仕組みを理解するために実験を実行します。

要約(オリジナル)

For regression tasks, standard Gaussian processes (GPs) provide natural uncertainty quantification (UQ), while deep neural networks (DNNs) excel at representation learning. Deterministic UQ methods for neural networks have successfully combined the two and require only a single pass through the neural network. However, current methods necessitate changes to network training to address feature collapse, where unique inputs map to identical feature vectors. We propose an alternative solution, the deep Vecchia ensemble (DVE), which allows deterministic UQ to work in the presence of feature collapse, negating the need for network retraining. DVE comprises an ensemble of GPs built on hidden-layer outputs of a DNN, achieving scalability via Vecchia approximations that leverage nearest-neighbor conditional independence. DVE is compatible with pretrained networks and incurs low computational overhead. We demonstrate DVE’s utility on several datasets and carry out experiments to understand the inner workings of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google