Brain tumor segmentation using synthetic MR images — A comparison of GANs and diffusion models

要約

ディープラーニングモデルの学習には大規模なアノテーションデータセットが必要ですが、医療画像では倫理、匿名化、データ保護法（一般データ保護規則（GDPR）など）によりデータ共有が複雑になりがちです。生成的敵対ネットワーク（GAN）や拡散モデルなどの生成的AIモデルは、今日、非常にリアルな合成画像を生成することができ、特定の人に属さない医療画像にはGDPRが適用されないはずなので、データ共有を促進できる可能性があります。しかし、合成画像を共有するためには、まず、その画像が許容できる性能で異なるネットワークの学習に使用できることを証明する必要があります。そこで、脳腫瘍のセグメンテーションという課題に対して、4つのGAN（プログレッシブGAN、StyleGAN1〜3）と拡散モデルを総合的に評価した。その結果、合成画像で学習したセグメンテーションネットワークは、実画像で学習した場合のダイススコアの80%～90%に達するが、拡散モデルでは元データセットが小さすぎる場合、学習画像の記憶が問題になる可能性があることが示された。さらに、合成画像を評価する一般的な指標であるFIDやISは、合成画像をセグメンテーションネットワークの学習に用いた場合、得られる性能とあまり相関がないことを示す。

要約(オリジナル)

Large annotated datasets are required for training deep learning models, but in medical imaging data sharing is often complicated due to ethics, anonymization and data protection legislation (e.g. the general data protection regulation (GDPR)). Generative AI models, such as generative adversarial networks (GANs) and diffusion models, can today produce very realistic synthetic images, and can potentially facilitate data sharing as GDPR should not apply for medical images which do not belong to a specific person. However, in order to share synthetic images it must first be demonstrated that they can be used for training different networks with acceptable performance. Here, we therefore comprehensively evaluate four GANs (progressive GAN, StyleGAN 1-3) and a diffusion model for the task of brain tumor segmentation. Our results show that segmentation networks trained on synthetic images reach Dice scores that are 80\% – 90\% of Dice scores when training with real images, but that memorization of the training images can be a problem for diffusion models if the original dataset is too small. Furthermore, we demonstrate that common metrics for evaluating synthetic images, Fr\’echet inception distance (FID) and inception score (IS), do not correlate well with the obtained performance when using the synthetic images for training segmentation networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL