ImageFlowNet: Forecasting Multiscale Trajectories of Disease Progression with Irregularly-Sampled Longitudinal Medical Images

要約

画像から病気の進行を予測することは、臨床上の意思決定にとって究極の目標です。
ただし、このタスクは、縦方向の画像取得における固有の高次元性、時間的スパース性、およびサンプリングの不規則性によって複雑になります。
既存の方法は、多くの場合、手作業で作成された特徴の抽出と、このベクトル空間での時系列分析の実行に依存しており、画像内の豊富な空間情報の損失につながります。
これらの課題を克服するために、ニューラル ODE と SDE を使用して関節埋め込み空間でマルチスケール表現を進化させる潜在空間流れ場を学習し、画像領域で疾患の進行をモデル化する新しいフレームワークである ImageFlowNet を紹介します。
特に、ImageFlowNet は患者のコホートを結合することでマルチスケールの関節表現空間を学習し、患者サンプル間で情報を転送できるようにします。
次に、ダイナミクスは進行のもっともらしい軌道を提供し、SDE は同じ開始点からの代替軌道を提供します。
私たちは、ODE の定式化をサポートする理論的な洞察を提供し、高レベルの視覚的特徴、潜在空間の組織化、および軌道の滑らかさを含む正則化の動機付けを行います。
次に、網膜地理的萎縮、多発性硬化症、神経膠芽腫の進行を示す 3 つの縦断医療画像データセットに対する経験的評価を通じて、ImageFlowNet の有効性を実証します。

要約(オリジナル)

The forecasting of disease progression from images is a holy grail for clinical decision making. However, this task is complicated by the inherent high dimensionality, temporal sparsity and sampling irregularity in longitudinal image acquisitions. Existing methods often rely on extracting hand-crafted features and performing time-series analysis in this vector space, leading to a loss of rich spatial information within the images. To overcome these challenges, we introduce ImageFlowNet, a novel framework that learns latent-space flow fields that evolve multiscale representations in joint embedding spaces using neural ODEs and SDEs to model disease progression in the image domain. Notably, ImageFlowNet learns multiscale joint representation spaces by combining cohorts of patients together so that information can be transferred between the patient samples. The dynamics then provide plausible trajectories of progression, with the SDE providing alternative trajectories from the same starting point. We provide theoretical insights that support our formulation of ODEs, and motivate our regularizations involving high-level visual features, latent space organization, and trajectory smoothness. We then demonstrate ImageFlowNet’s effectiveness through empirical evaluations on three longitudinal medical image datasets depicting progression in retinal geographic atrophy, multiple sclerosis, and glioblastoma.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google