UWAT-GAN: Fundus Fluorescein Angiography Synthesis via Ultra-wide-angle Transformation Multi-scale GAN

要約

眼底撮影は眼底疾患の臨床診断や鑑別診断に欠かせない検査です。
最近では、超広角眼底 (UWF) 技術、UWF フルオレセイン血管造影 (UWF-FA) および UWF 走査型レーザー検眼鏡 (UWF-SLO) が徐々に使用され始めています。
ただし、フルオレセイン血管造影 (FA) および UWF-FA では、有害な影響を与える可能性があるフルオレセイン ナトリウムの注入が必要です。
悪影響を回避するために、クロスモダリティ医用画像生成アルゴリズムが提案されています。
それにもかかわらず、眼底画像化における現在の方法は、高解像度の画像を生成できず、小さな血管病変領域を捕捉することができない。
この論文では、UWF-SLO から UWF-FA を合成するための新しい条件付き敵対的生成ネットワーク (UWAT-GAN) を提案します。
マルチスケール ジェネレーターとフュージョン モジュール パッチを使用して、グローバル情報とローカル情報をより適切に抽出することで、私たちのモデルは高解像度の画像を生成できます。
さらに、デコーダの効果的な学習を支援するために、アテンション送信モジュールが提案されています。
さらに、教師ありアプローチを使用して、さまざまなスケールのデータに対する複数の新しい加重損失を使用してネットワークをトレーニングします。
社内の UWF 画像データセットでの実験により、最先端の方法に対する UWAT-GAN の優位性が実証されました。
ソース コードは https://github.com/Tinysqua/UWAT-GAN から入手できます。

要約(オリジナル)

Fundus photography is an essential examination for clinical and differential diagnosis of fundus diseases. Recently, Ultra-Wide-angle Fundus (UWF) techniques, UWF Fluorescein Angiography (UWF-FA) and UWF Scanning Laser Ophthalmoscopy (UWF-SLO) have been gradually put into use. However, Fluorescein Angiography (FA) and UWF-FA require injecting sodium fluorescein which may have detrimental influences. To avoid negative impacts, cross-modality medical image generation algorithms have been proposed. Nevertheless, current methods in fundus imaging could not produce high-resolution images and are unable to capture tiny vascular lesion areas. This paper proposes a novel conditional generative adversarial network (UWAT-GAN) to synthesize UWF-FA from UWF-SLO. Using multi-scale generators and a fusion module patch to better extract global and local information, our model can generate high-resolution images. Moreover, an attention transmit module is proposed to help the decoder learn effectively. Besides, a supervised approach is used to train the network using multiple new weighted losses on different scales of data. Experiments on an in-house UWF image dataset demonstrate the superiority of the UWAT-GAN over the state-of-the-art methods. The source code is available at: https://github.com/Tinysqua/UWAT-GAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google