Hierarchical Amortized Training for Memory-efficient High Resolution 3D GAN

要約

Generative Adversarial Networks (GAN) には、データ拡張、ドメイン適応、モデル説明など、多くの潜在的な医療画像アプリケーションがあります。
グラフィカル プロセッシング ユニット (GPU) のメモリが限られているため、現在のほとんどの 3D GAN モデルは低解像度の医用画像でトレーニングされており、これらのモデルは高解像度にスケーリングできないか、斑状のアーティファクトが発生しやすくなっています。
この作業では、高解像度の 3D 画像を生成できる新しいエンドツーエンドの GAN アーキテクチャを提案します。
トレーニングと推論の間で異なる構成を使用することで、この目標を達成します。
トレーニング中に、画像の低解像度バージョンと高解像度画像のランダムに選択されたサブボリュームを同時に生成する階層構造を採用します。
階層設計には 2 つの利点があります。第 1 に、高解像度画像のトレーニングに必要なメモリがサブボリューム間で償却されます。
さらに、高解像度のサブボリュームを単一の低解像度の画像に固定することで、サブボリューム間の解剖学的一貫性が確保されます。
推論中、モデルは完全な高解像度画像を直接生成できます。
また、同様の階層構造を持つエンコーダーをモデルに組み込み、画像から特徴を抽出します。
3D 胸部 CT と脳 MRI に関する実験は、私たちのアプローチが画像生成の最先端技術よりも優れていることを示しています。
また、提案されたモデルのデータ拡張と臨床関連の特徴抽出における臨床応用も示します。

要約(オリジナル)

Generative Adversarial Networks (GAN) have many potential medical imaging applications, including data augmentation, domain adaptation, and model explanation. Due to the limited memory of Graphical Processing Units (GPUs), most current 3D GAN models are trained on low-resolution medical images, these models either cannot scale to high-resolution or are prone to patchy artifacts. In this work, we propose a novel end-to-end GAN architecture that can generate high-resolution 3D images. We achieve this goal by using different configurations between training and inference. During training, we adopt a hierarchical structure that simultaneously generates a low-resolution version of the image and a randomly selected sub-volume of the high-resolution image. The hierarchical design has two advantages: First, the memory demand for training on high-resolution images is amortized among sub-volumes. Furthermore, anchoring the high-resolution sub-volumes to a single low-resolution image ensures anatomical consistency between sub-volumes. During inference, our model can directly generate full high-resolution images. We also incorporate an encoder with a similar hierarchical structure into the model to extract features from the images. Experiments on 3D thorax CT and brain MRI demonstrate that our approach outperforms state of the art in image generation. We also demonstrate clinical applications of the proposed model in data augmentation and clinical-relevant feature extraction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google