Amortized Inference for Gaussian Process Hyperparameters of Structured Kernels

要約

ガウス プロセスのカーネル パラメーターの学習は、オンライン学習、ベイズ最適化、アクティブ ラーニングなどのアプリケーションで計算のボトルネックになることがよくあります。
さまざまなデータセットにわたるパラメーター推論の償却は、トレーニング時間を大幅に短縮する有望なアプローチです。
ただし、既存の方法では、償却推論手順が固定のカーネル構造に制限されています。
別のカーネルが使用される場合には、償却ネットワークを手動で再設計して再度トレーニングする必要があり、設計時間とトレーニング時間に大きなオーバーヘッドが発生します。
私たちは、固定されたカーネル構造ではなく、完全なカーネル構造ファミリーにわたる償却カーネル パラメーター推論を提案します。
これは、データセットとカーネル構造のペアに対して償却ネットワークを定義することで実現します。
これにより、償却ネットワークを再トレーニングすることなく、カーネル ファミリ内の各要素の高速カーネル推論が可能になります。
副産物として、当社の償却ネットワークはカーネル構造上で高速アンサンブルを実行できます。
私たちの実験では、大規模なカーネルとデータセットのセットに対する競合テストのパフォーマンスと組み合わせて、推論時間が大幅に短縮されることを示しました。

要約(オリジナル)

Learning the kernel parameters for Gaussian processes is often the computational bottleneck in applications such as online learning, Bayesian optimization, or active learning. Amortizing parameter inference over different datasets is a promising approach to dramatically speed up training time. However, existing methods restrict the amortized inference procedure to a fixed kernel structure. The amortization network must be redesigned manually and trained again in case a different kernel is employed, which leads to a large overhead in design time and training time. We propose amortizing kernel parameter inference over a complete kernel-structure-family rather than a fixed kernel structure. We do that via defining an amortization network over pairs of datasets and kernel structures. This enables fast kernel inference for each element in the kernel family without retraining the amortization network. As a by-product, our amortization network is able to do fast ensembling over kernel structures. In our experiments, we show drastically reduced inference time combined with competitive test performance for a large set of kernels and datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google