Beware of diffusion models for synthesizing medical images — A comparison with GANs in terms of memorizing brain tumor images

要約

拡散モデルは当初、テキストから画像への変換のために開発されましたが、現在では高品質な合成画像の生成に活用されています。GANに先立ち、拡散モデルは様々な評価指標を用いて印象的な結果を示しています。しかし、FIDやISといった一般的に用いられる評価指標は、拡散モデルが単に学習画像を再現しているかどうかを判断するのには適していない。ここでは、BRATS20とBRATS21データセットを用いて、StyleGANと拡散モデルを訓練し、脳腫瘍画像を合成し、合成画像とすべての訓練画像との相関を測定する。その結果、特に小規模なデータセットでは、拡散モデルの方が学習画像を記憶してしまう可能性が高いことが分かりました。研究者は、最終的な目的が合成画像の共有である場合、拡散モデルを医療画像に使用する際には注意する必要がある。

要約(オリジナル)

Diffusion models were initially developed for text-to-image generation and are now being utilized to generate high quality synthetic images. Preceded by GANs, diffusion models have shown impressive results using various evaluation metrics. However, commonly used metrics such as FID and IS are not suitable for determining whether diffusion models are simply reproducing the training images. Here we train StyleGAN and diffusion models, using BRATS20 and BRATS21 datasets, to synthesize brain tumor images, and measure the correlation between the synthetic images and all training images. Our results show that diffusion models are much more likely to memorize the training images, especially for small datasets. Researchers should be careful when using diffusion models for medical imaging, if the final goal is to share the synthetic images.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL