Zero-shot Imputation with Foundation Inference Models for Dynamical Systems

要約

通常の微分方程式（ODE）によって管理される動的システムは、膨大な数の自然現象のモデルとして機能します。
この作業では、根底にあるダイナミクスがODEによって決定されると想定される時系列データを欠落しているという古典的な問題について、新たな視点を提供します。
具体的には、償却された推論と神経演算子からのアイデアを再訪し、いくつかの（隠された）odeを満たすパラメトリック関数を通じて、ゼロショット時系列代入のための新しい監督された学習フレームワークを提案します。
私たちの提案は、2つのコンポーネントで構成されています。
第一に、ODEソリューション、観測時間、ノイズメカニズムの空間上の広範な確率分布。これにより、（隠された）ODEソリューションの大規模な合成データセットと、そのうるさくてまばらな観測値が生成されます。
第二に、生成された時系列を（隠された）ODEソリューションの初期条件と時間導関数のスペースにマッピングするために、オフラインでトレーニングされた神経認識モデル。
私たちは、それぞれが大きく異なる動的システムからサンプリングされた63個の異なる時系列にわたって、1つと同じ（前処理された）認識モデルがゼロショット代入を実行できることを経験的に実証します。
同様に、微調整を必要とせずに、人間の動き、大気質、交通、電気の研究、およびナビエ・ストークスシミュレーションにまたがる10の非常に異なる設定で、欠落している高次元データのゼロショット代入を実行できることを実証します。
さらに、私たちの提案はしばしば、ターゲットデータセットでトレーニングされている最先端の方法よりも優れています。
当社の事前に守られたモデル、リポジトリ、チュートリアルはオンラインで入手できます。

要約(オリジナル)

Dynamical systems governed by ordinary differential equations (ODEs) serve as models for a vast number of natural and social phenomena. In this work, we offer a fresh perspective on the classical problem of imputing missing time series data, whose underlying dynamics are assumed to be determined by ODEs. Specifically, we revisit ideas from amortized inference and neural operators, and propose a novel supervised learning framework for zero-shot time series imputation, through parametric functions satisfying some (hidden) ODEs. Our proposal consists of two components. First, a broad probability distribution over the space of ODE solutions, observation times and noise mechanisms, with which we generate a large, synthetic dataset of (hidden) ODE solutions, along with their noisy and sparse observations. Second, a neural recognition model that is trained offline, to map the generated time series onto the spaces of initial conditions and time derivatives of the (hidden) ODE solutions, which we then integrate to impute the missing data. We empirically demonstrate that one and the same (pretrained) recognition model can perform zero-shot imputation across 63 distinct time series with missing values, each sampled from widely different dynamical systems. Likewise, we demonstrate that it can perform zero-shot imputation of missing high-dimensional data in 10 vastly different settings, spanning human motion, air quality, traffic and electricity studies, as well as Navier-Stokes simulations — without requiring any fine-tuning. What is more, our proposal often outperforms state-of-the-art methods, which are trained on the target datasets. Our pretrained model, repository and tutorials are available online.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google