ImageFlowNet: Forecasting Multiscale Image-Level Trajectories of Disease Progression with Irregularly-Sampled Longitudinal Medical Images

要約

医療画像技術の進歩により、同じ患者を長期間にわたって繰り返しスキャンして疾患の進行を監視する縦断画像の収集が可能になりました。
ただし、そのようなデータの予測モデリングは、高次元性、不規則なサンプリング、およびデータの疎性のため、依然として困難です。
これらの問題に対処するために、空間的な詳細を保存しながら初期画像から疾患の軌跡を予測するように設計された新しいモデルである ImageFlowNet を提案します。
ImageFlowNet は、まず患者および時点にわたるマルチスケールの関節表現空間を学習し、次に位置パラメータ化されたニューラル ODE/SDE フレームワークを使用して、これらの空間内の決定論的または確率論的な流れ場を最適化します。
このモデルは UNet アーキテクチャを活用して堅牢なマルチスケール表現を作成し、すべての患者から得た知識を組み合わせることでデータ不足を軽減します。
私たちは、ODE の定式化をサポートする理論的な洞察を提供し、高レベルの視覚的特徴、潜在空間の組織化、および軌道の滑らかさを含む正則化の動機付けを行います。
私たちは、地理的萎縮、多発性硬化症、神経膠芽腫の進行を示す 3 つの縦断医療画像データセットで ImageFlowNet を検証し、病気の進行を効果的に予測し、既存の方法を上回るパフォーマンスを発揮するその能力を実証します。
私たちの貢献には、ImageFlowNet の開発、その理論的基礎、現実世界のデータセットでの実証的検証が含まれます。
公式実装は https://github.com/KrishnaswamyLab/ImageFlowNet で入手できます。

要約(オリジナル)

Advances in medical imaging technologies have enabled the collection of longitudinal images, which involve repeated scanning of the same patients over time, to monitor disease progression. However, predictive modeling of such data remains challenging due to high dimensionality, irregular sampling, and data sparsity. To address these issues, we propose ImageFlowNet, a novel model designed to forecast disease trajectories from initial images while preserving spatial details. ImageFlowNet first learns multiscale joint representation spaces across patients and time points, then optimizes deterministic or stochastic flow fields within these spaces using a position-parameterized neural ODE/SDE framework. The model leverages a UNet architecture to create robust multiscale representations and mitigates data scarcity by combining knowledge from all patients. We provide theoretical insights that support our formulation of ODEs, and motivate our regularizations involving high-level visual features, latent space organization, and trajectory smoothness. We validate ImageFlowNet on three longitudinal medical image datasets depicting progression in geographic atrophy, multiple sclerosis, and glioblastoma, demonstrating its ability to effectively forecast disease progression and outperform existing methods. Our contributions include the development of ImageFlowNet, its theoretical underpinnings, and empirical validation on real-world datasets. The official implementation is available at https://github.com/KrishnaswamyLab/ImageFlowNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google