Generative Enhancement for 3D Medical Images

要約

プライバシー上の懸念と、収集やアノテーションのコストが高いため、3D 医用画像データセットの利用が制限されていることが、医用画像の分野で大きな課題となっています。
有望な代替手段は合成医療データの使用ですが、バックボーン設計の難しさと 2D 対応物と比較して 3D トレーニング サンプルが少ないため、現実的な 3D 医療画像合成のためのソリューションはほとんどありません。
この論文では、3D 医療画像の合成と条件付き拡散モデルを使用した既存のデータセットの強化に対する新しい生成アプローチである GEM-3D を提案します。
私たちの方法は、事前に患者にサービスを提供するための情報を与えられたスライスとして注目される 2D スライスから始まり、3D セグメンテーション マスクを使用して生成プロセスを伝播します。
GEM-3D は、3D 医療画像をマスクと患者の事前情報に分解することで、既存のデータセットから多用途の 3D 画像を生成するための柔軟かつ効果的なソリューションを提供します。
GEM-3D は、情報に基づいたスライスの選択とランダムな位置での生成を組み合わせることにより、データセットの強化を可能にし、また編集可能なマスク ボリュームを使用して拡散サンプリングに大きなバリエーションを導入できます。
さらに、インフォームドスライスには患者ごとの情報が含まれているため、GEM-3D は、望ましい制御による反事実的な画像合成やデータセットレベルの非強調化も容易にすることができます。
脳の MRI および腹部 CT 画像の実験では、GEM-3D が体積の一貫性を備えた高品質の 3D 医療画像を合成でき、推論中のデータセット強化のための直接的なソリューションを提供できることが実証されました。
コードは https://github.com/HKU-MedAI/GEM-3D で入手できます。

要約(オリジナル)

The limited availability of 3D medical image datasets, due to privacy concerns and high collection or annotation costs, poses significant challenges in the field of medical imaging. While a promising alternative is the use of synthesized medical data, there are few solutions for realistic 3D medical image synthesis due to difficulties in backbone design and fewer 3D training samples compared to 2D counterparts. In this paper, we propose GEM-3D, a novel generative approach to the synthesis of 3D medical images and the enhancement of existing datasets using conditional diffusion models. Our method begins with a 2D slice, noted as the informed slice to serve the patient prior, and propagates the generation process using a 3D segmentation mask. By decomposing the 3D medical images into masks and patient prior information, GEM-3D offers a flexible yet effective solution for generating versatile 3D images from existing datasets. GEM-3D can enable dataset enhancement by combining informed slice selection and generation at random positions, along with editable mask volumes to introduce large variations in diffusion sampling. Moreover, as the informed slice contains patient-wise information, GEM-3D can also facilitate counterfactual image synthesis and dataset-level de-enhancement with desired control. Experiments on brain MRI and abdomen CT images demonstrate that GEM-3D is capable of synthesizing high-quality 3D medical images with volumetric consistency, offering a straightforward solution for dataset enhancement during inference. The code is available at https://github.com/HKU-MedAI/GEM-3D.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google