Assessing the capacity of a denoising diffusion probabilistic model to reproduce spatial context

要約

拡散モデルは、ディープ生成モデル (DGM) の人気のあるファミリーとして登場しました。
文献では、拡散モデルの 1 つのクラスであるノイズ除去拡散確率モデル (DDPM) が、敵対的生成ネットワーク (GAN) と比較して優れた画像合成パフォーマンスを示すと主張されています。
現在まで、これらの主張は、自然画像用に設計されたアンサンブルベースの方法、または構造的類似性などの従来の画質尺度のいずれかを使用して評価されてきました。
ただし、DDPM が医用画像ドメイン関連情報 (この研究では「空間コンテキスト」と呼ぶ) をどの程度確実に学習できるかを理解するという重要な必要性が依然として存在します。
これに対処するために、医療画像アプリケーションに関連する空間コンテキストを学習する DDPM の能力の体系的な評価が初めて報告されています。
研究の重要な側面は、確率的コンテキスト モデル (SCM) を使用してトレーニング データを生成することです。
このようにして、空間コンテキストを確実に再現する DDPM の能力は、事後画像解析を使用して定量的に評価できます。
DDPM で生成されたアンサンブルのエラー率が報告され、最新の GAN に対応するものと比較されます。
この研究により、DDPM の空間コンテキストを学習する能力に関する新たな重要な洞察が明らかになりました。
特に、この結果は、DDPM がトレーニング サンプル間で「補間」される文脈的に正しい画像を生成する大きな能力を保持していることを示しており、これは GAN ではできない方法でデータ拡張タスクに利益をもたらす可能性があります。

要約(オリジナル)

Diffusion models have emerged as a popular family of deep generative models (DGMs). In the literature, it has been claimed that one class of diffusion models — denoising diffusion probabilistic models (DDPMs) — demonstrate superior image synthesis performance as compared to generative adversarial networks (GANs). To date, these claims have been evaluated using either ensemble-based methods designed for natural images, or conventional measures of image quality such as structural similarity. However, there remains an important need to understand the extent to which DDPMs can reliably learn medical imaging domain-relevant information, which is referred to as `spatial context’ in this work. To address this, a systematic assessment of the ability of DDPMs to learn spatial context relevant to medical imaging applications is reported for the first time. A key aspect of the studies is the use of stochastic context models (SCMs) to produce training data. In this way, the ability of the DDPMs to reliably reproduce spatial context can be quantitatively assessed by use of post-hoc image analyses. Error-rates in DDPM-generated ensembles are reported, and compared to those corresponding to a modern GAN. The studies reveal new and important insights regarding the capacity of DDPMs to learn spatial context. Notably, the results demonstrate that DDPMs hold significant capacity for generating contextually correct images that are `interpolated’ between training samples, which may benefit data-augmentation tasks in ways that GANs cannot.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google