Exact and efficient solutions of the LMC Multitask Gaussian Process model

要約

共領域化の線形モデル (LMC) は、回帰または分類のためのマルチタスク ガウス プロセスの非常に一般的なモデルです。
その表現力と概念的な単純さは魅力的ですが、単純な実装ではデータポイントの数とタスクの数が 3 次の複雑さを持ち、ほとんどのアプリケーションで近似が必須になります。
しかし、最近の研究では、条件によってはモデルの潜在的なプロセスが切り離され、そのプロセスの数が線形にしかならない複雑さを引き起こす可能性があることが示されています。
ここでこれらの結果を拡張し、最も一般的な仮定から、LMC の効率的な正確な計算に必要な唯一の条件はノイズ モデルに関する穏やかな仮説であることを示します。
結果として得られる \emph{投影された LMC} モデルの完全なパラメータ化と、効率的な最適化を可能にする周辺尤度の表現を導入します。
合成データに対してパラメトリック研究を実行し、制限のない正確な LMC および後者の近似と比較して、私たちのアプローチの優れたパフォーマンスを示します。
全体として、投影された LMC は、最先端のモデルに代わる信頼性が高く、よりシンプルな代替手段であるように見えます。これにより、Leave-one-out 相互検証や空想などの一部の計算が大幅に容易になります。

要約(オリジナル)

The Linear Model of Co-regionalization (LMC) is a very general model of multitask gaussian process for regression or classification. While its expressivity and conceptual simplicity are appealing, naive implementations have cubic complexity in the number of datapoints and number of tasks, making approximations mandatory for most applications. However, recent work has shown that under some conditions the latent processes of the model can be decoupled, leading to a complexity that is only linear in the number of said processes. We here extend these results, showing from the most general assumptions that the only condition necessary to an efficient exact computation of the LMC is a mild hypothesis on the noise model. We introduce a full parametrization of the resulting \emph{projected LMC} model, and an expression of the marginal likelihood enabling efficient optimization. We perform a parametric study on synthetic data to show the excellent performance of our approach, compared to an unrestricted exact LMC and approximations of the latter. Overall, the projected LMC appears as a credible and simpler alternative to state-of-the art models, which greatly facilitates some computations such as leave-one-out cross-validation and fantasization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google