An Attentive-based Generative Model for Medical Image Synthesis

要約

磁気共鳴（MR）画像やコンピュータ断層撮影（CT）画像は、病気の診断や治療計画のための貴重なツールです。しかし、放射線被ばくやコストなどの制約により、特定の画像処理装置へのアクセスが制限されることがあります。この問題に対処するため、医用画像合成は別のモダリティから1つのモダリティを生成することができるが、既存の多くのモデルは、データセットに複数のスライスが存在する場合に高品質の画像合成に苦労する。本研究では、複数のスライスを持つ非対称データから医用画像を合成できる、ADC-cycleGANと呼ばれる注意に基づくデュアルコントラスト生成モデルを提案する。このモデルは、合成された画像がソースドメインから区別できるように、デュアルコントラスト損失項をCycleGAN損失と統合する。さらに、チャンネルドメインと空間ドメインの両方から有益な特徴を抽出するために、注意メカニズムがジェネレータに組み込まれる。複数のスライスを扱う際の性能を向上させるため、$K$-meansアルゴリズムを用いてデータセットを$K$グループに分類し、各グループは別々のADC-cycleGANの訓練に用いられる。実験結果は、提案するADC-cycleGANモデルが、他の最新鋭の生成モデルと同等のサンプルを生成し、それぞれ19.04385と0.68551という最高のPSNRとSSIM値を達成することを示す。コードは https://github.com/JiayuanWang-JW/ADC-cycleGAN で公開しています。

要約(オリジナル)

Magnetic resonance (MR) and computer tomography (CT) imaging are valuable tools for diagnosing diseases and planning treatment. However, limitations such as radiation exposure and cost can restrict access to certain imaging modalities. To address this issue, medical image synthesis can generate one modality from another, but many existing models struggle with high-quality image synthesis when multiple slices are present in the dataset. This study proposes an attention-based dual contrast generative model, called ADC-cycleGAN, which can synthesize medical images from unpaired data with multiple slices. The model integrates a dual contrast loss term with the CycleGAN loss to ensure that the synthesized images are distinguishable from the source domain. Additionally, an attention mechanism is incorporated into the generators to extract informative features from both channel and spatial domains. To improve performance when dealing with multiple slices, the $K$-means algorithm is used to cluster the dataset into $K$ groups, and each group is used to train a separate ADC-cycleGAN. Experimental results demonstrate that the proposed ADC-cycleGAN model produces comparable samples to other state-of-the-art generative models, achieving the highest PSNR and SSIM values of 19.04385 and 0.68551, respectively. We publish the code at https://github.com/JiayuanWang-JW/ADC-cycleGAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL