Projecting basis functions with tensor networks for Gaussian process regression

要約

この論文では、テンソル ネットワーク (TN) を使用した近似ガウス過程 (GP) 回帰の方法を紹介します。
GP のパラメトリック近似では、基底関数の線形結合が使用されます。近似の精度は、基底関数 $M$ の総数によって決まります。
私たちは、対応する指数関数的な計算の複雑さを伴うことなく、指数関数的な量の基底関数を使用できるようにするアプローチを開発します。
これを可能にする重要なアイデアは、低ランクの TN を使用することです。
まず、低ランク TN によって記述されたデータから適切な低次元部分空間を見つけます。
この低次元部分空間で、ベイジアン推論問題を解くことによってモデルの重みを推論します。
最後に、結果の重みを元の空間に投影して GP 予測を行います。
私たちのアプローチの利点は、より小さな部分空間への投影にあります。指定されたデータに基づいて適切と思われる方法で基底関数の形状を変更し、より小さな部分空間での効率的な計算が可能になります。
18 次元のベンチマーク データ セットを使用した実験で、逆ダイナミクス問題に対するこの方法の適用可能性を示します。

要約(オリジナル)

This paper presents a method for approximate Gaussian process (GP) regression with tensor networks (TNs). A parametric approximation of a GP uses a linear combination of basis functions, where the accuracy of the approximation depends on the total number of basis functions $M$. We develop an approach that allows us to use an exponential amount of basis functions without the corresponding exponential computational complexity. The key idea to enable this is using low-rank TNs. We first find a suitable low-dimensional subspace from the data, described by a low-rank TN. In this low-dimensional subspace, we then infer the weights of our model by solving a Bayesian inference problem. Finally, we project the resulting weights back to the original space to make GP predictions. The benefit of our approach comes from the projection to a smaller subspace: It modifies the shape of the basis functions in a way that it sees fit based on the given data, and it allows for efficient computations in the smaller subspace. In an experiment with an 18-dimensional benchmark data set, we show the applicability of our method to an inverse dynamics problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google