Invariant Subspace Decomposition

要約

Xが与えられたXの条件付き分布が時間の経過とともに変化する設定で、共変量Xのセットから応答yを予測するタスクを検討します。
これを実行可能にするためには、条件付き分布が時間の経過とともにどのように変化するかについての仮定が必要です。
既存のアプローチは、たとえば、変化が時間の経過とともにスムーズに発生するため、最近の過去のみを使用した短期予測が実行可能になると仮定しています。
さらに過去に観測をさらに活用するために、条件分布を時間不変および残留時間依存成分に分割する不変部分空間分解（ISD）と呼ばれる線形条件の新しい不変性ベースのフレームワークを提案します。
私たちが示しているように、この分解は、ゼロショットと時間に適合する予測タスクの両方に使用できます。つまり、それぞれYで予測する時点でNOまたは少量のトレーニングデータが利用可能な設定です。
おおよそのジョイントマトリックスの斜めからのツールを使用して、自動的に分解を推定する実用的な推定手順を提案します。
さらに、提案された推定器に有限のサンプル保証を提供し、追加の不変構造を使用しないアプローチが実際に改善されることを経験的に実証します。

要約(オリジナル)

We consider the task of predicting a response Y from a set of covariates X in settings where the conditional distribution of Y given X changes over time. For this to be feasible, assumptions on how the conditional distribution changes over time are required. Existing approaches assume, for example, that changes occur smoothly over time so that short-term prediction using only the recent past becomes feasible. To additionally exploit observations further in the past, we propose a novel invariance-based framework for linear conditionals, called Invariant Subspace Decomposition (ISD), that splits the conditional distribution into a time-invariant and a residual time-dependent component. As we show, this decomposition can be utilized both for zero-shot and time-adaptation prediction tasks, that is, settings where either no or a small amount of training data is available at the time points we want to predict Y at, respectively. We propose a practical estimation procedure, which automatically infers the decomposition using tools from approximate joint matrix diagonalization. Furthermore, we provide finite sample guarantees for the proposed estimator and demonstrate empirically that it indeed improves on approaches that do not use the additional invariant structure.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google