SADM: Sequence-Aware Diffusion Model for Longitudinal Medical Image Generation

要約

人間の臓器は、短期的な要因 (心拍など) と長期的な要因 (加齢など) が複雑に組み合わさって、解剖学的な変化を常に受け​​ています。
明らかに、これらの要因の事前知識は、画像生成を介して将来の状態をモデル化する際に有益です。
ただし、ほとんどの医用画像生成タスクは、単一の画像からの入力のみに依存しているため、縦方向のデータが利用可能な場合でも、連続的な依存関係は無視されます。
モデル入力が順序付けられ、タイムスタンプが付けられた画像のシーケンスである、シーケンス対応の深層生成モデルは、いくつかの固有の課題によって特徴付けられる医療画像領域ではまだ調査されていません。1) さまざまな長さのシーケンス。
2) データまたはフレームの欠落、および 3) 高次元性。
この目的のために、縦方向の医用画像を生成するためのシーケンス対応拡散モデル (SADM) を提案します。
最近、拡散モデルは、忠実度の高い画像生成において有望な結果を示しています。
私たちの方法は、拡散モデルの条件付きモジュールとしてシーケンス対応トランスフォーマーを導入することにより、この新しい手法を拡張します。
新しい設計により、トレーニング中にデータが欠落していても縦方向の依存関係を学習でき、推論中に一連の画像を自己回帰的に生成できます。
3D縦断医療画像に関する当社の広範な実験は、ベースラインおよび代替方法と比較してSADMの有効性を示しています。
コードは https://github.com/ubc-tea/SADM-Longitudinal-Medical-Image-Generation で入手できます。

要約(オリジナル)

Human organs constantly undergo anatomical changes due to a complex mix of short-term (e.g., heartbeat) and long-term (e.g., aging) factors. Evidently, prior knowledge of these factors will be beneficial when modeling their future state, i.e., via image generation. However, most of the medical image generation tasks only rely on the input from a single image, thus ignoring the sequential dependency even when longitudinal data is available. Sequence-aware deep generative models, where model input is a sequence of ordered and timestamped images, are still underexplored in the medical imaging domain that is featured by several unique challenges: 1) Sequences with various lengths; 2) Missing data or frame, and 3) High dimensionality. To this end, we propose a sequence-aware diffusion model (SADM) for the generation of longitudinal medical images. Recently, diffusion models have shown promising results in high-fidelity image generation. Our method extends this new technique by introducing a sequence-aware transformer as the conditional module in a diffusion model. The novel design enables learning longitudinal dependency even with missing data during training and allows autoregressive generation of a sequence of images during inference. Our extensive experiments on 3D longitudinal medical images demonstrate the effectiveness of SADM compared with baselines and alternative methods. The code is available at https://github.com/ubc-tea/SADM-Longitudinal-Medical-Image-Generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google