Pathology Synthesis of 3D Consistent Cardiac MR Im-ages Using 2D VAEs and GANs

要約

深層学習（DL）学習のためのラベル付きデータを生成する目的で、もっともらしい心臓の形と現実的な外観を持つ心臓MR画像を合成する方法を提案する。本手法は、画像合成をラベル変形とラベルから画像への変換タスクに分解する。前者はVAEモデルにおける潜在空間補間により、後者は条件付きGANモデルにより達成される。我々は、学習済みVAEモデルの潜在空間におけるラベル操作、すなわち病理学的合成のアプローチを考案し、所望の心臓病の特徴を持つ一連の疑似病理学的合成被験者を合成することを目指している。さらに、VAEの潜在空間における2次元スライス間の関係を潜在ベクトル間の相関係数行列で推定し、ランダムに抽出したサンプルの要素を相関させてから画像空間へデコードすることを提案する。このようなシンプルかつ効果的なアプローチにより、2次元のスライス毎の世代から3次元の一貫した被写体を生成することが可能となる。このようなアプローチは、利用可能な心臓MR画像のデータベースを多様化・充実させるためのソリューションを提供し、一般化可能なDLベースの画像解析アルゴリズムの開発への道を開くことができる。コードは https://github.com/sinaamirrajab/CardiacPathologySynthesis で公開される予定です。

要約(オリジナル)

We propose a method for synthesizing cardiac MR images with plausible heart shapes and realistic appearances for the purpose of generating labeled data for deep-learning (DL) training. It breaks down the image synthesis into label deformation and label-to-image translation tasks. The former is achieved via latent space interpolation in a VAE model, while the latter is accomplished via a conditional GAN model. We devise an approach for label manipulation in the latent space of the trained VAE model, namely pathology synthesis, aiming to synthesize a series of pseudo-pathological synthetic subjects with characteristics of a desired heart disease. Furthermore, we propose to model the relationship between 2D slices in the latent space of the VAE via estimating the correlation coefficient matrix between the latent vectors and utilizing it to correlate elements of randomly drawn samples before decoding to image space. This simple yet effective approach results in generating 3D consistent subjects from 2D slice-by-slice generations. Such an approach could provide a solution to diversify and enrich the available database of cardiac MR images and to pave the way for the development of generalizable DL-based image analysis algorithms. The code will be available at https://github.com/sinaamirrajab/CardiacPathologySynthesis.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL