Unsupervised dynamic modeling of medical image transformation

要約

時空間画像は、心臓診断、手術ガイダンス、放射線治療モニタリングなどに応用されている。本論文では、連続画像のみに基づいて、その背後にあるダイナミクスを特定することにより、時空間運動を説明する。我々の力学モデルは、高次元の連続画像の入力を低次元の潜在空間に写像し、そこで隠れた状態プロセスと低次元の入力表現との間に線形関係が成立するようにする。このために、条件付き変分オートエンコーダ（CVAE）を用いて、高次元画像を低次元空間に非線形に写像し、そのダイナミクスを線形ガウス状態空間モデル（LG-SM）を用いてモデル化する。このモデルはカルマン変分オートエンコーダの改良版で、エンドツーエンドで学習可能であり、重みはCVAEとLG-SMの両方で、周辺尤度の証拠下限を最大化することにより同時に更新される。元のモデルとは対照的に、我々はある画像から別の画像への空間変換で動きを説明する。この結果、より鮮明な再構成が可能となり、セグメンテーションなどの補助情報を画像シーケンスを通して伝達することができる。心臓超音波の時系列を用いた我々の実験では、ダイナミックモデルが従来の画像レジストレーションを実行時間で上回り、同程度の性能になることが示された。さらに、我々のモデルは、欠損サンプルのインプットと外挿の可能性を提供する。

要約(オリジナル)

Spatiotemporal imaging has applications in e.g. cardiac diagnostics, surgical guidance, and radiotherapy monitoring, In this paper, we explain the temporal motion by identifying the underlying dynamics, only based on the sequential images. Our dynamical model maps the inputs of observed high-dimensional sequential images to a low-dimensional latent space wherein a linear relationship between a hidden state process and the lower-dimensional representation of the inputs holds. For this, we use a conditional variational auto-encoder (CVAE) to nonlinearly map the higher-dimensional image to a lower-dimensional space, wherein we model the dynamics with a linear Gaussian state-space model (LG-SSM). The model, a modified version of the Kalman variational auto-encoder, is end-to-end trainable, and the weights, both in the CVAE and LG-SSM, are simultaneously updated by maximizing the evidence lower bound of the marginal likelihood. In contrast to the original model, we explain the motion with a spatial transformation from one image to another. This results in sharper reconstructions and the possibility of transferring auxiliary information, such as segmentation, through the image sequence. Our experiments, on cardiac ultrasound time series, show that the dynamic model outperforms traditional image registration in execution time, to a similar performance. Further, our model offers the possibility to impute and extrapolate for missing samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL