Trajectory Flow Matching with Applications to Clinical Time Series Modeling

要約

確率的で不規則にサンプリングされた時系列のモデリングは、特に医学をはじめとする幅広い応用分野で見られる困難な問題である。ニューラル確率微分方程式（Neural SDE）は、この問題に対する魅力的なモデリング手法であり、SDEのドリフト項と拡散項をニューラルネットワークでパラメータ化する。しかし、現在のニューラルSDEの学習アルゴリズムでは、SDEのダイナミクスをバックプロパゲーションする必要があり、スケーラビリティと安定性が大きく制限されている。この問題を解決するために、我々はシミュレーションを必要とせず、ダイナミクスのバックプロパゲーションをバイパスしてニューラルSDEを学習するTrajectory Flow Matching (TFM)を提案します。TFMは、時系列をモデル化するために、生成モデリングのフローマッチング技術を活用する。本研究では、まずTFMが時系列データを学習するための必要条件を確立する。次に、学習の安定性を向上させる再パラメータ化のトリックを示す。最後に、TFMを臨床時系列設定に適応させ、3つの臨床時系列データセットにおいて、絶対性能と不確実性予測の両面で性能が向上したことを実証する。

要約(オリジナル)

Modeling stochastic and irregularly sampled time series is a challenging problem found in a wide range of applications, especially in medicine. Neural stochastic differential equations (Neural SDEs) are an attractive modeling technique for this problem, which parameterize the drift and diffusion terms of an SDE with neural networks. However, current algorithms for training Neural SDEs require backpropagation through the SDE dynamics, greatly limiting their scalability and stability. To address this, we propose Trajectory Flow Matching (TFM), which trains a Neural SDE in a simulation-free manner, bypassing backpropagation through the dynamics. TFM leverages the flow matching technique from generative modeling to model time series. In this work we first establish necessary conditions for TFM to learn time series data. Next, we present a reparameterization trick which improves training stability. Finally, we adapt TFM to the clinical time series setting, demonstrating improved performance on three clinical time series datasets both in terms of absolute performance and uncertainty prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL