Tensor Network-Constrained Kernel Machines as Gaussian Processes

要約

Tensor Networks (TN) は最近、モデルの重みを制限することでカーネル マシンを高速化するために使用され、計算量とストレージの大幅な節約をもたらします。
この論文では、正準ポリアディック分解 (CPD) およびテンソル トレイン (TT) 制約付きカーネル マシンの出力が、i.i.d. を配置する際に完全に特徴付けたガウス過程 (GP) を回復することを証明します。
パラメータに対する事前分布。
CPD と TT 制約モデルの両方の収束を分析し、同じ数のモデル パラメーターに対して、TT が CPD と比較してより多くの GP 動作を示すモデルをどのように生成するかを示します。
この挙動を 2 つの数値実験で経験的に観察し、それぞれ GP への収束と予測時のパフォーマンスを分析します。
これにより、TN 制約のあるカーネル マシンと GP の間の接続が確立されます。

要約(オリジナル)

Tensor Networks (TNs) have recently been used to speed up kernel machines by constraining the model weights, yielding exponential computational and storage savings. In this paper we prove that the outputs of Canonical Polyadic Decomposition (CPD) and Tensor Train (TT)-constrained kernel machines recover a Gaussian Process (GP), which we fully characterize, when placing i.i.d. priors over their parameters. We analyze the convergence of both CPD and TT-constrained models, and show how TT yields models exhibiting more GP behavior compared to CPD, for the same number of model parameters. We empirically observe this behavior in two numerical experiments where we respectively analyze the convergence to the GP and the performance at prediction. We thereby establish a connection between TN-constrained kernel machines and GPs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google