Pathology Synthesis of 3D-Consistent Cardiac MR Images using 2D VAEs and GANs

要約

教師あり深層学習（DL）トレーニングのアプリケーション用のラベル付きデータを生成する目的で、もっともらしい心臓病理と現実的な外観を備えた心臓磁気共鳴（MR）画像を合成する方法を提案します。
画像合成は、ラベル変形タスクとラベルから画像への変換タスクで構成されます。
前者は VAE モデルの潜在空間補間によって実現され、後者はラベル条件付き GAN モデルによって実現されます。
トレーニングされた VAE モデルの潜在空間でラベルを操作するための 3 つのアプローチを考案しました。
i) \textbf{被写体内合成}は、被写体の中間スライスを補間して平面解像度を高めることを目的としています。 ii) \textbf{被写体間合成}は、2 つの異なる画像の間の中間画像の形状と外観を補間することを目的としています。
異なるスキャナーベンダーで取得された被験者、および iii) \textbf{病理学的合成} は、目的の心臓病の特徴を持つ一連の擬似病理学的合成被験者を合成することを目的としています。
さらに、2D スライスごとの世代の積み重ねから 3D 一貫性のある被写体を生成するために、再構成の前に VAE の潜在空間内の 2D スライス間の関係をモデル化することを提案します。
我々は、このようなアプローチが、利用可能な心臓 MR 画像のデータベースを多様化および充実させるソリューションを提供し、一般化可能な DL ベースの画像解析アルゴリズムの開発への道を開くことができることを実証します。
画像セグメンテーションのマルチベンダーおよびマルチ疾患データに対する一般化とロバスト性を実現するために、拡張シナリオで合成データの品質を定量的に評価します。
私たちのコードは https://github.com/sinaamirrajab/CardiacPathologySynthesis で入手できます。

要約(オリジナル)

We propose a method for synthesizing cardiac magnetic resonance (MR) images with plausible heart pathologies and realistic appearances for the purpose of generating labeled data for the application of supervised deep-learning (DL) training. The image synthesis consists of label deformation and label-to-image translation tasks. The former is achieved via latent space interpolation in a VAE model, while the latter is accomplished via a label-conditional GAN model. We devise three approaches for label manipulation in the latent space of the trained VAE model; i) \textbf{intra-subject synthesis} aiming to interpolate the intermediate slices of a subject to increase the through-plane resolution, ii) \textbf{inter-subject synthesis} aiming to interpolate the geometry and appearance of intermediate images between two dissimilar subjects acquired with different scanner vendors, and iii) \textbf{pathology synthesis} aiming to synthesize a series of pseudo-pathological synthetic subjects with characteristics of a desired heart disease. Furthermore, we propose to model the relationship between 2D slices in the latent space of the VAE prior to reconstruction for generating 3D-consistent subjects from stacking up 2D slice-by-slice generations. We demonstrate that such an approach could provide a solution to diversify and enrich an available database of cardiac MR images and to pave the way for the development of generalizable DL-based image analysis algorithms. We quantitatively evaluate the quality of the synthesized data in an augmentation scenario to achieve generalization and robustness to multi-vendor and multi-disease data for image segmentation. Our code is available at https://github.com/sinaamirrajab/CardiacPathologySynthesis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google