UWAFA-GAN: Ultra-Wide-Angle Fluorescein Angiography Transformation via Multi-scale Generation and Registration Enhancement

要約

眼底写真撮影は、超広角眼底 (UWF) 技術と組み合わせることで、網膜のより包括的な視野を提供するため、臨床現場で不可欠な診断ツールになります。
それにもかかわらず、UWF フルオレセイン血管造影 (UWF-FA) では、UWF 走査型レーザー検眼鏡 (UWF-SLO) とは異なり、患者の手または肘への注射による蛍光色素の投与が必要です。
注射に伴う潜在的な悪影響を軽減するために、研究者らは、UWF-SLO 画像を対応する UWF-FA 画像に変換できるクロスモダリティ医用画像生成アルゴリズムの開発を提案しました。
眼底写真に適用されている現在の画像生成技術は、高解像度の網膜画像を生成する際、特に微細な血管病変を捉える際に困難に直面しています。
これらの問題に対処するために、UWF-SLO から UWF-FA を合成するための新しい条件付き敵対的生成ネットワーク (UWAFA-GAN) を導入します。
このアプローチでは、マルチスケール ジェネレーターと注意伝達モジュールを使用して、全体的な構造と局所的な病変の両方を効率的に抽出します。
さらに、位置がずれたデータでのトレーニングによって生じる画像のぼやけの問題に対処するために、このフレームワーク内に登録モジュールが統合されています。
私たちの方法は、開始スコアと詳細の生成において自明ではありません。
臨床ユーザー調査では、UWAFA-GAN によって生成された UWF-FA 画像が、診断の信頼性の点で臨床的に本物の画像と同等であることがさらに示されています。
当社独自の UWF 画像データセットの経験的評価により、UWAFA-GAN が既存の方法論よりも優れたパフォーマンスを発揮することが明らかになりました。
コードは https://github.com/Tinysqua/UWAFA-GAN からアクセスできます。

要約(オリジナル)

Fundus photography, in combination with the ultra-wide-angle fundus (UWF) techniques, becomes an indispensable diagnostic tool in clinical settings by offering a more comprehensive view of the retina. Nonetheless, UWF fluorescein angiography (UWF-FA) necessitates the administration of a fluorescent dye via injection into the patient’s hand or elbow unlike UWF scanning laser ophthalmoscopy (UWF-SLO). To mitigate potential adverse effects associated with injections, researchers have proposed the development of cross-modality medical image generation algorithms capable of converting UWF-SLO images into their UWF-FA counterparts. Current image generation techniques applied to fundus photography encounter difficulties in producing high-resolution retinal images, particularly in capturing minute vascular lesions. To address these issues, we introduce a novel conditional generative adversarial network (UWAFA-GAN) to synthesize UWF-FA from UWF-SLO. This approach employs multi-scale generators and an attention transmit module to efficiently extract both global structures and local lesions. Additionally, to counteract the image blurriness issue that arises from training with misaligned data, a registration module is integrated within this framework. Our method performs non-trivially on inception scores and details generation. Clinical user studies further indicate that the UWF-FA images generated by UWAFA-GAN are clinically comparable to authentic images in terms of diagnostic reliability. Empirical evaluations on our proprietary UWF image datasets elucidate that UWAFA-GAN outperforms extant methodologies. The code is accessible at https://github.com/Tinysqua/UWAFA-GAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google