Beware of diffusion models for synthesizing medical images — A comparison with GANs in terms of memorizing brain MRI and chest x-ray images

要約

拡散モデルは当初、テキストから画像を生成するために開発されましたが、現在は高品質の合成画像を生成するために利用されています。
GAN に先駆けて、拡散モデルはさまざまな評価指標を使用して印象的な結果を示してきました。
ただし、FID や IS などの一般的に使用される指標は、拡散モデルがトレーニング画像を単に再現しているかどうかを判断するのには適していません。
ここでは、BRATS20、BRATS21、胸部 X 線肺炎データセットを使用して StyleGAN モデルと拡散モデルをトレーニングし、脳 MRI と胸部 X 線画像を合成し、synthe4c 画像とすべてのトレーニング画像の間の相関を測定します。
私たちの結果は、特に小さなデータセットの場合や 3D ボリュームから 2D スライスを使用する場合、StyleGAN と比較して拡散モデルがトレーニング画像を記憶する可能性が高いことを示しています。
研究者は、最終目標が synthe4c 画像を共有することである場合、医療画像処理に拡散モデルを使用する際には注意する必要があります。

要約(オリジナル)

Diffusion models were initially developed for text-to-image generation and are now being utilized to generate high-quality synthetic images. Preceded by GANs, diffusion models have shown impressive results using various evaluation metrics. However, commonly used metrics such as FID and IS are not suitable for determining whether diffusion models are simply reproducing the training images. Here we train StyleGAN and diffusion models, using BRATS20, BRATS21 and a chest x-ray pneumonia dataset, to synthesize brain MRI and chest x-ray images, and measure the correlation between the synthe4c images and all training images. Our results show that diffusion models are more likely to memorize the training images, compared to StyleGAN, especially for small datasets and when using 2D slices from 3D volumes. Researchers should be careful when using diffusion models for medical imaging, if the final goal is to share the synthe4c images

arxiv情報

提供元, 利用サービス

arxiv.jp, Google