Fundus to Fluorescein Angiography Video Generation as a Retinal Generative Foundation Model

要約

フルオレセイン眼底血管造影法 (FFA) は、網膜血管の問題の診断とモニタリングに不可欠ですが、カラー眼底 (CF) イメージングと比較すると、その侵襲性とアクセスの制限により制限されます。
CF 画像を FFA に変換する既存の方法は、静的な画像の生成に限定されており、動的な病変の変化が欠落しています。
単一の CF 画像から動的な FFA ビデオを生成する自己回帰敵対的生成ネットワーク (GAN) モデルである Fundus2Video を紹介します。
Fundus2Video はビデオ生成に優れており、FVD 1497.12、PSNR 11.77 を達成しています。
臨床専門家は、生成されたビデオの忠実性を検証しました。
さらに、このモデルのジェネレーターは、血管セグメンテーション、網膜疾患の診断、全身疾患の予測、マルチモーダル検索を含む 10 個の外部公開データセットにわたる顕著な下流への転送可能性を実証し、印象的なゼロショットおよび少数ショット機能を示しています。
これらの発見により、Fundus2Video は、FFA 検査に代わる強力で非侵襲的な代替手段であり、静的および時間的な網膜特徴の両方を捕捉し、複雑なモダリティ間の関係の表現を可能にする多用途の網膜生成基盤モデルとして位置づけられています。

要約(オリジナル)

Fundus fluorescein angiography (FFA) is crucial for diagnosing and monitoring retinal vascular issues but is limited by its invasive nature and restricted accessibility compared to color fundus (CF) imaging. Existing methods that convert CF images to FFA are confined to static image generation, missing the dynamic lesional changes. We introduce Fundus2Video, an autoregressive generative adversarial network (GAN) model that generates dynamic FFA videos from single CF images. Fundus2Video excels in video generation, achieving an FVD of 1497.12 and a PSNR of 11.77. Clinical experts have validated the fidelity of the generated videos. Additionally, the model’s generator demonstrates remarkable downstream transferability across ten external public datasets, including blood vessel segmentation, retinal disease diagnosis, systemic disease prediction, and multimodal retrieval, showcasing impressive zero-shot and few-shot capabilities. These findings position Fundus2Video as a powerful, non-invasive alternative to FFA exams and a versatile retinal generative foundation model that captures both static and temporal retinal features, enabling the representation of complex inter-modality relationships.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google