IVP-VAE: Modeling EHR Time Series with Initial Value Problem Solvers

要約

ニューラルODEやニューラルフローなどの連続時間モデルは、電子カルテで頻繁に遭遇する不規則なサンプリングの時系列を分析する際に有望な結果を示している。これらのモデルに基づいて、時系列は通常、初期値問題（IVP）ソルバーと変分オートエンコーダーアーキテクチャ内のリカレントニューラルネットワークのハイブリッドで処理される。IVPを逐次的に解くことは、このようなモデルの計算効率を低下させる。本論文では、状態変化をIVPで直接近似できる連続的なプロセスで時系列を純粋にモデル化することを提案する。これにより、再帰計算が不要になり、複数の状態を並行して進化させることが可能になる。さらに、エンコーダとデコーダを、その反転性に基づいて1つのIVPソルバーで融合させることで、より少ないパラメータとより速い収束を実現する。3つの実世界データセットを用いた実験により、提案手法は、他の連続時間型と比較して1桁以上高速化しながら、同等の外挿性能と分類性能を達成することが示された。

要約(オリジナル)

Continuous-time models such as Neural ODEs and Neural Flows have shown promising results in analyzing irregularly sampled time series frequently encountered in electronic health records. Based on these models, time series are typically processed with a hybrid of an initial value problem (IVP) solver and a recurrent neural network within the variational autoencoder architecture. Sequentially solving IVPs makes such models computationally less efficient. In this paper, we propose to model time series purely with continuous processes whose state evolution can be approximated directly by IVPs. This eliminates the need for recurrent computation and enables multiple states to evolve in parallel. We further fuse the encoder and decoder with one IVP solver based on its invertibility, which leads to fewer parameters and faster convergence. Experiments on three real-world datasets show that the proposed approach achieves comparable extrapolation and classification performance while gaining more than one order of magnitude speedup over other continuous-time counterparts.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL