Diffusion Models for Memory-efficient Processing of 3D Medical Images

要約

ノイズ除去拡散モデルは、最近、多くの画像生成タスクで最先端のパフォーマンスを達成しました。
ただし、大量の計算リソースが必要です。
これにより、高解像度の 3 次元データのような大規模な 3D ボリュームを扱うことが多い医療タスクへの適用が制限されます。
この作業では、3D 拡散モデルのリソース消費を削減し、それらを 3D 画像のデータセットに適用するさまざまな方法を紹介します。
この論文の主な貢献は、メモリ効率の良いパッチベースの拡散モデル \textit{PatchDDM} です。これは、トレーニングがパッチでのみ実行されている間に、推論中に総ボリュームに適用できます。
提案された拡散モデルは任意の画像生成タスクに適用できますが、BraTS2020 データセットの腫瘍セグメンテーション タスクでこの方法を評価し、意味のある 3 次元セグメンテーションを生成できることを示します。

要約(オリジナル)

Denoising diffusion models have recently achieved state-of-the-art performance in many image-generation tasks. They do, however, require a large amount of computational resources. This limits their application to medical tasks, where we often deal with large 3D volumes, like high-resolution three-dimensional data. In this work, we present a number of different ways to reduce the resource consumption for 3D diffusion models and apply them to a dataset of 3D images. The main contribution of this paper is the memory-efficient patch-based diffusion model \textit{PatchDDM}, which can be applied to the total volume during inference while the training is performed only on patches. While the proposed diffusion model can be applied to any image generation tasks, we evaluate the method on the tumor segmentation task of the BraTS2020 dataset and demonstrate that we can generate meaningful three-dimensional segmentations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google