Brain Tumour Removing and Missing Modality Generation using 3D WDM

要約

この論文では、BraTS 2024 のタスク 8 の 2 位のソリューションとタスク 7 の参加ソリューションを紹介します。臨床現場をサポートする自動脳分析アルゴリズムの採用が増加しています。
ただし、これらのアルゴリズムの多くは、脳病変の存在や特定の MRI モダリティの欠如に悩まされています。
脳の形態の変化により変動が大きくなり、健康な脳のみでトレーニングされた予測モデルのパフォーマンスが低下します。
欠落している MRI モダリティの一部によって通常提供される情報が不足しているため、すべてのモダリティでトレーニングされた予測モデルの信頼性も低下します。
これらのモデルのパフォーマンスを向上させるために、条件付き 3D ウェーブレット拡散モデルの使用を提案します。
ウェーブレット変換により、パッチ適用やダウンサンプリングを行わずに、48 GB VRAM を搭載した GPU 上でフル解像度の画像トレーニングと予測が可能になり、予測用のすべての情報が保存されます。
これらのタスクのコードは、https://github.com/ShadowTwin41/BraTS_2023_2024_solutions で入手できます。

要約(オリジナル)

This paper presents the second-placed solution for task 8 and the participation solution for task 7 of BraTS 2024. The adoption of automated brain analysis algorithms to support clinical practice is increasing. However, many of these algorithms struggle with the presence of brain lesions or the absence of certain MRI modalities. The alterations in the brain’s morphology leads to high variability and thus poor performance of predictive models that were trained only on healthy brains. The lack of information that is usually provided by some of the missing MRI modalities also reduces the reliability of the prediction models trained with all modalities. In order to improve the performance of these models, we propose the use of conditional 3D wavelet diffusion models. The wavelet transform enabled full-resolution image training and prediction on a GPU with 48 GB VRAM, without patching or downsampling, preserving all information for prediction. The code for these tasks is available at https://github.com/ShadowTwin41/BraTS_2023_2024_solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google