Brain tumor segmentation using synthetic MR images — A comparison of GANs and diffusion models

要約

深層学習モデルのトレーニングには大規模な注釈付きデータセットが必要ですが、医療画像処理では、倫理、匿名化、データ保護法のため、データ共有が複雑になることがよくあります。
現在、敵対的生成ネットワーク (GAN) や拡散モデルなどの生成 AI モデルは、非常にリアルな合成画像を生成でき、データ共有を容易にする可能性があります。
ただし、合成医用画像を共有するには、まず、合成医用画像を許容可能なパフォーマンスでさまざまなネットワークのトレーニングに使用できることを実証する必要があります。
したがって、ここでは、脳腫瘍セグメンテーションのタスクのための 4 つの GAN (プログレッシブ GAN、StyleGAN 1 ～ 3) と拡散モデル (2 つのセグメンテーション ネットワーク、U-Net と Swin トランスフォーマーを使用) を包括的に評価します。
私たちの結果は、合成画像でトレーニングされたセグメンテーション ネットワークは、実際の画像でトレーニングした場合、Dice スコアの 80% ～ 90% の Dice スコアに達しますが、元のデータセットが小さすぎる場合、トレーニング画像の記憶が拡散モデルにとって問題となる可能性があることを示しています。
。
私たちの結論は、合成医用画像の共有は実際の画像を共有するための実行可能な選択肢ですが、さらなる取り組みが必要であるということです。
トレーニングされた生成モデルと生成された合成画像は AIDA データハブで共有されます

要約(オリジナル)

Large annotated datasets are required for training deep learning models, but in medical imaging data sharing is often complicated due to ethics, anonymization and data protection legislation. Generative AI models, such as generative adversarial networks (GANs) and diffusion models, can today produce very realistic synthetic images, and can potentially facilitate data sharing. However, in order to share synthetic medical images it must first be demonstrated that they can be used for training different networks with acceptable performance. Here, we therefore comprehensively evaluate four GANs (progressive GAN, StyleGAN 1-3) and a diffusion model for the task of brain tumor segmentation (using two segmentation networks, U-Net and a Swin transformer). Our results show that segmentation networks trained on synthetic images reach Dice scores that are 80% – 90% of Dice scores when training with real images, but that memorization of the training images can be a problem for diffusion models if the original dataset is too small. Our conclusion is that sharing synthetic medical images is a viable option to sharing real images, but that further work is required. The trained generative models and the generated synthetic images are shared on AIDA data hub

arxiv情報

提供元, 利用サービス

arxiv.jp, Google