Style transfer between Microscopy and Magnetic Resonance Imaging via Generative Adversarial Network in small sample size settings

要約

同じ組織サンプルに基づく磁気共鳴画像法 (MRI) と顕微鏡イメージングのクロスモーダル拡張は、基礎となる侵襲的生検手順がなくても組織病理学的分析が可能になるため、有望です。
ここでは、条件付き敵対的生成ネットワーク (cGAN) アーキテクチャを使用して、脳梁の MRI スキャンから顕微鏡組織学的画像を生成する方法をテストしました。
私たちの知る限り、これは脳 MRI を同じサンプルの組織学的体積表示にマルチモーダルに変換した最初の例です。
この技術は、MRI スキャンと顕微鏡検査から一連の画像を取得して、ペアの画像変換モデルをトレーニングすることによって評価されました。
顕微鏡画像のサイズが大きく、一般にサンプルの入手可能性が低いため、この目的で cGAN を使用することは困難です。
現在の研究では、このフレームワークが脳梁の MRI スキャンから組織像を確実に合成することを実証し、比較的低解像度の MRI スキャンと組み合わせた高解像度の組織像でトレーニングできるネットワークの能力を強調しています。
生検を回避することを最終目標として、提案されたツールは教育目的に使用できます。

要約(オリジナル)

Cross-modal augmentation of Magnetic Resonance Imaging (MRI) and microscopic imaging based on the same tissue samples is promising because it can allow histopathological analysis in the absence of an underlying invasive biopsy procedure. Here, we tested a method for generating microscopic histological images from MRI scans of the corpus callosum using conditional generative adversarial network (cGAN) architecture. To our knowledge, this is the first multimodal translation of the brain MRI to histological volumetric representation of the same sample. The technique was assessed by training paired image translation models taking sets of images from MRI scans and microscopy. The use of cGAN for this purpose is challenging because microscopy images are large in size and typically have low sample availability. The current work demonstrates that the framework reliably synthesizes histology images from MRI scans of corpus callosum, emphasizing the network’s ability to train on high resolution histologies paired with relatively lower-resolution MRI scans. With the ultimate goal of avoiding biopsies, the proposed tool can be used for educational purposes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google