ImputeFormer: Low Rankness-Induced Transformers for Generalizable Spatiotemporal Imputation

要約

データの欠損は、科学と工学の両方のタスク、特に時空間データのモデリングの両方で蔓延する問題です。
この問題は、機械学習ソリューションに貢献するために多くの研究を惹きつけています。
既存の代入ソリューションには、主に低ランク モデルと深層学習モデルが含まれています。
一方では、低ランクのモデルは一般的な構造事前分布を想定していますが、モデルの容量は限られています。
一方、深層学習モデルは表現力という顕著な特徴を備えていますが、時空間プロセスに関する事前知識が不足しています。
2 つのパラダイム両方の長所を活用して、強い誘導バイアスと高いモデル表現力の間のバランスを達成するために、低ランクネス誘導 Transformer モデルを実証します。
時空間データの固有の構造を利用することで、モデルはバランスの取れた信号とノイズの表現を学習できるようになり、さまざまな代入問題に多用途に使用できるようになります。
交通速度、交通量、太陽エネルギー、スマートメーター、大気質などの異種データセットにおける精度、効率、汎用性の点でその優位性を実証します。
解釈可能性をさらに強化するために、包括的なケーススタディが実行されます。
有望な経験的結果は、低ランクのプロパティなどの時系列プリミティブを組み込むことで、広範囲の時空間代入問題にアプローチする一般化可能なモデルの開発を大幅に促進できるという強い確信を与えてくれます。

要約(オリジナル)

Missing data is a pervasive issue in both scientific and engineering tasks, especially for the modeling of spatiotemporal data. This problem attracts many studies to contribute to machine learning solutions. Existing imputation solutions mainly include low-rank models and deep learning models. On the one hand, low-rank models assume general structural priors, but have limited model capacity. On the other hand, deep learning models possess salient features of expressivity, while lack prior knowledge of the spatiotemporal process. Leveraging the strengths of both two paradigms, we demonstrate a low rankness-induced Transformer model to achieve a balance between strong inductive bias and high model expressivity. The exploitation of the inherent structures of spatiotemporal data enables our model to learn balanced signal-noise representations, making it versatile for a variety of imputation problems. We demonstrate its superiority in terms of accuracy, efficiency, and generality in heterogeneous datasets, including traffic speed, traffic volume, solar energy, smart metering, and air quality. Comprehensive case studies are performed to further strengthen interpretability. Promising empirical results provide strong conviction that incorporating time series primitives, such as low-rank properties, can substantially facilitate the development of a generalizable model to approach a wide range of spatiotemporal imputation problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google