ImageFlowNet: Forecasting Multiscale Image-Level Trajectories of Disease Progression with Irregularly-Sampled Longitudinal Medical Images

要約

医療画像技術の進歩により、疾患の進行を監視するために、同じ患者の繰り返しスキャンを伴う縦方向の画像の収集が可能になりました。
ただし、このようなデータの予測モデリングは、高次元、不規則なサンプリング、およびデータスパースのために困難なままです。
これらの問題に対処するために、空間的な詳細を維持しながら初期画像から疾患の軌跡を予測するように設計された新しいモデルであるImageFlownetを提案します。
ImageFlownetは、最初に患者と時点でマルチスケールの関節表現スペースを学習し、次にポジションパラメーター化されたニューラルODE/SDEフレームワークを使用して、これらのスペース内の決定論的または確率的な流れ場を最適化します。
このモデルは、UNETアーキテクチャを活用して、堅牢なマルチスケール表現を作成し、すべての患者の知識を組み合わせることにより、データ不足を軽減します。
私たちは、ODEの定式化をサポートする理論的洞察を提供し、高レベルの視覚的特徴、潜在的な空間組織、および軌道の滑らかさを含む正則化を動機付けます。
地理的萎縮、多発性硬化症、膠芽腫の進行を描いた3つの縦方向の医療画像データセットでImageFlownetを検証し、疾患の進行を効果的に予測し、既存の方法を上回る能力を示しています。
私たちの貢献には、ImageFlownetの開発、その理論的基盤、および実際のデータセットの経験的検証が含まれます。
公式実装は、https：//github.com/krishnaswamylab/imageflownetで入手できます。

要約(オリジナル)

Advances in medical imaging technologies have enabled the collection of longitudinal images, which involve repeated scanning of the same patients over time, to monitor disease progression. However, predictive modeling of such data remains challenging due to high dimensionality, irregular sampling, and data sparsity. To address these issues, we propose ImageFlowNet, a novel model designed to forecast disease trajectories from initial images while preserving spatial details. ImageFlowNet first learns multiscale joint representation spaces across patients and time points, then optimizes deterministic or stochastic flow fields within these spaces using a position-parameterized neural ODE/SDE framework. The model leverages a UNet architecture to create robust multiscale representations and mitigates data scarcity by combining knowledge from all patients. We provide theoretical insights that support our formulation of ODEs, and motivate our regularizations involving high-level visual features, latent space organization, and trajectory smoothness. We validate ImageFlowNet on three longitudinal medical image datasets depicting progression in geographic atrophy, multiple sclerosis, and glioblastoma, demonstrating its ability to effectively forecast disease progression and outperform existing methods. Our contributions include the development of ImageFlowNet, its theoretical underpinnings, and empirical validation on real-world datasets. The official implementation is available at https://github.com/KrishnaswamyLab/ImageFlowNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google