Trajectory Flow Matching with Applications to Clinical Time Series Modeling

要約

確率的で不規則にサンプリングされた時系列のモデリングは、幅広いアプリケーション、特に医療において見られる困難な問題です。
ニューラル確率微分方程式 (ニューラル SDE) は、この問題に対する魅力的なモデリング手法であり、ニューラル ネットワークを使用して SDE のドリフト項と拡散項をパラメータ化します。
ただし、ニューラル SDE をトレーニングするための現在のアルゴリズムでは、SDE ダイナミクスによる逆伝播が必要であり、そのスケーラビリティと安定性が大幅に制限されています。
これに対処するために、ダイナミクスによるバックプロパゲーションをバイパスし、シミュレーション不要の方法でニューラル SDE をトレーニングする Trajectory Flow Matching (TFM) を提案します。
TFM は、生成モデリングから時系列モデルまでのフロー マッチング手法を活用します。
この作業では、まず TFM が時系列データを学習するために必要な条件を確立します。
次に、トレーニングの安定性を向上させる再パラメータ化のトリックを紹介します。
最後に、TFM を臨床時系列設定に適応させ、絶対パフォーマンスと不確実性予測の両方の観点から、3 つの臨床時系列データセットでパフォーマンスの向上を実証します。

要約(オリジナル)

Modeling stochastic and irregularly sampled time series is a challenging problem found in a wide range of applications, especially in medicine. Neural stochastic differential equations (Neural SDEs) are an attractive modeling technique for this problem, which parameterize the drift and diffusion terms of an SDE with neural networks. However, current algorithms for training Neural SDEs require backpropagation through the SDE dynamics, greatly limiting their scalability and stability. To address this, we propose Trajectory Flow Matching (TFM), which trains a Neural SDE in a simulation-free manner, bypassing backpropagation through the dynamics. TFM leverages the flow matching technique from generative modeling to model time series. In this work we first establish necessary conditions for TFM to learn time series data. Next, we present a reparameterization trick which improves training stability. Finally, we adapt TFM to the clinical time series setting, demonstrating improved performance on three clinical time series datasets both in terms of absolute performance and uncertainty prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google