DISGAN: Wavelet-informed Discriminator Guides GAN to MRI Super-resolution with Noise Cleaning

要約

MRI 超解像度 (SR) タスクとノイズ除去タスクは、ディープ ラーニングの分野における基本的な課題であり、従来、個別のペアのトレーニング データを含む別個のタスクとして扱われてきました。
この論文では、単一の深層学習モデルを使用して両方のタスクに同時に対処し、トレーニング中にノイズの多い画像とクリーンな画像を明示的にペアにする必要性を排除する革新的な方法を提案します。
私たちが提案したモデルは主に SR 用にトレーニングされていますが、超解像画像でも優れたノイズ除去能力を示します。
生成プロセスに周波数関連の操作を導入する従来のアプローチの代わりに、私たちの新しいアプローチには、周波数情報に基づいた弁別器によってガイドされる GAN モデルの使用が含まれます。
これを達成するために、磁気共鳴画像法 (MRI) データに対する SR タスクの GAN フレームワーク内の周波数制約として 3D 離散ウェーブレット変換 (DWT) 演算の力を利用します。
具体的には、私たちの貢献には次のものが含まれます。1) 残差内残差接続ブロックに基づく 3D ジェネレーター。
2) $1\times 1$ 畳み込みを使用した 3D DWT を、弁別器用の 3D Unet 内の DWT+conv ユニットに統合します。
3) 固有のノイズ除去プロセスを伴う、高品質画像 SR 用のトレーニング済みモデルの使用。
SR 画像生成と同時ノイズ除去の二重の効果により、このモデルを「ノイズ除去誘発超解像度 GAN (DISGAN)」と名付けました。
SR タスクとノイズ除去タスクを別個のモデルとしてトレーニングする従来のアプローチから脱却し、私たちが提案する DISGAN は SR タスクのみでトレーニングされますが、ノイズ除去でも優れたパフォーマンスを達成します。
このモデルは、ヒューマン コネクトーム プロジェクト (HCP) の数十人の被験者からの 3D MRI データでトレーニングされ、脳腫瘍とてんかんを患う被験者からのこれまでに見たことのない MRI データでさらに評価されて、ノイズ除去と SR のパフォーマンスを評価します。

要約(オリジナル)

MRI super-resolution (SR) and denoising tasks are fundamental challenges in the field of deep learning, which have traditionally been treated as distinct tasks with separate paired training data. In this paper, we propose an innovative method that addresses both tasks simultaneously using a single deep learning model, eliminating the need for explicitly paired noisy and clean images during training. Our proposed model is primarily trained for SR, but also exhibits remarkable noise-cleaning capabilities in the super-resolved images. Instead of conventional approaches that introduce frequency-related operations into the generative process, our novel approach involves the use of a GAN model guided by a frequency-informed discriminator. To achieve this, we harness the power of the 3D Discrete Wavelet Transform (DWT) operation as a frequency constraint within the GAN framework for the SR task on magnetic resonance imaging (MRI) data. Specifically, our contributions include: 1) a 3D generator based on residual-in-residual connected blocks; 2) the integration of the 3D DWT with $1\times 1$ convolution into a DWT+conv unit within a 3D Unet for the discriminator; 3) the use of the trained model for high-quality image SR, accompanied by an intrinsic denoising process. We dub the model ‘Denoising Induced Super-resolution GAN (DISGAN)’ due to its dual effects of SR image generation and simultaneous denoising. Departing from the traditional approach of training SR and denoising tasks as separate models, our proposed DISGAN is trained only on the SR task, but also achieves exceptional performance in denoising. The model is trained on 3D MRI data from dozens of subjects from the Human Connectome Project (HCP) and further evaluated on previously unseen MRI data from subjects with brain tumours and epilepsy to assess its denoising and SR performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google