A General Theory for Kernel Packets: from state space model to compactly supported basis

要約

ガウス過程 (GP) の状態空間 (SS) モデル定式化により、n データ点のトレーニング時間と予測時間の両方を O(n) に短縮できることはよく知られています。
GP の $m$ 次元 SS モデル定式化が、一般右カーネル パケット (KP) として導入した概念、つまり $\sum_{i=0 のような GP 共分散関数 $K$ の変換と同等であることを証明します。
}^{m}a_iD_t^{(j)}K(t,t_i)=0$ は、連続する $t \leq t_1$、0 $\leq j \leq m-1$、および $m+1$ に当てはまります。
ここで、${D}_t^{(j)}f(t) $ は、$t$ に作用する $j$ 階微分値を示します。
このアイデアを GP の後向き SS モデル定式化に拡張し、次の $m$ 連続点の左 KP の概念を導きます: $\sum_{i=0}^{m}b_i{D}_t^{(
j)}K(t,t_{m+i})=0$ ($t\geq t_{2m}$)。
左と右の両方の KP を組み合わせることで、これらの共分散関数の適切な線形結合により $m$ のコンパクトにサポートされる KP 関数が得られることを証明できます: $\phi^{(j)}(t)=0$ for any $t\not
\in(t_0,t_{2m})$ と $j=0,\cdots,m-1$ です。
KP は GP の予測時間を O(log n) または O(1) までさらに短縮し、GP の導関数を含むより一般的な問題に適用でき、散在データを多次元一般化できます。

要約(オリジナル)

It is well known that the state space (SS) model formulation of a Gaussian process (GP) can lower its training and prediction time both to O(n) for n data points. We prove that an $m$-dimensional SS model formulation of GP is equivalent to a concept we introduce as the general right Kernel Packet (KP): a transformation for the GP covariance function $K$ such that $\sum_{i=0}^{m}a_iD_t^{(j)}K(t,t_i)=0$ holds for any $t \leq t_1$, 0 $\leq j \leq m-1$, and $m+1$ consecutive points $t_i$, where ${D}_t^{(j)}f(t) $ denotes $j$-th order derivative acting on $t$. We extend this idea to the backward SS model formulation of the GP, leading to the concept of the left KP for next $m$ consecutive points: $\sum_{i=0}^{m}b_i{D}_t^{(j)}K(t,t_{m+i})=0$ for any $t\geq t_{2m}$. By combining both left and right KPs, we can prove that a suitable linear combination of these covariance functions yields $m$ compactly supported KP functions: $\phi^{(j)}(t)=0$ for any $t\not\in(t_0,t_{2m})$ and $j=0,\cdots,m-1$. KPs further reduce the prediction time of GP to O(log n) or even O(1), can be applied to more general problems involving the derivative of GPs, and have multi-dimensional generalization for scattered data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google