Fundus2Video: Cross-Modal Angiography Video Generation from Static Fundus Photography with Clinical Knowledge Guidance

要約

フルオレセイン眼底血管造影法 (FFA) は、網膜の血管動態を評価し、眼疾患の診断を支援するための重要なツールです。
ただし、カラー眼底 (CF) 画像に比べてその侵襲性とアクセスしやすさが低いため、大きな課題が生じています。
現在の CF から FFA への変換方法は静的生成に限定されています。
この研究では、静的な CF 画像から動的な FFA ビデオを生成する先駆者です。
スムーズでメモリを節約するフレームごとの FFA 合成のための自己回帰 GAN を導入します。
FFA領域における動的な病変変化への焦点を強化するために、臨床経験に基づいてナレッジマスクを設計します。
このマスクを活用する当社のアプローチは、知識を高める注意、知識を意識した弁別器、マスクで強化された patchNCE 損失などの革新的な知識マスクガイド技術を統合し、重要な領域での生成を改善し、ピクセルの位置ずれの課題に対処することを目的としています。
私たちの方法は、他の一般的なビデオ生成アプローチと比較して、最高の FVD 1503.21 と PSNR 11.81 を達成します。
眼科医による人間による評価により、その高い生成品質が確認されています。
特に、当社のナレッジ マスクは教師付き病変セグメンテーション マスクを上回り、研究および臨床用途に従来の FFA に代わる有望な非侵襲的代替手段を提供します。
コードは https://github.com/Michi-3000/Fundus2Video で入手できます。

要約(オリジナル)

Fundus Fluorescein Angiography (FFA) is a critical tool for assessing retinal vascular dynamics and aiding in the diagnosis of eye diseases. However, its invasive nature and less accessibility compared to Color Fundus (CF) images pose significant challenges. Current CF to FFA translation methods are limited to static generation. In this work, we pioneer dynamic FFA video generation from static CF images. We introduce an autoregressive GAN for smooth, memory-saving frame-by-frame FFA synthesis. To enhance the focus on dynamic lesion changes in FFA regions, we design a knowledge mask based on clinical experience. Leveraging this mask, our approach integrates innovative knowledge mask-guided techniques, including knowledge-boosted attention, knowledge-aware discriminators, and mask-enhanced patchNCE loss, aimed at refining generation in critical areas and addressing the pixel misalignment challenge. Our method achieves the best FVD of 1503.21 and PSNR of 11.81 compared to other common video generation approaches. Human assessment by an ophthalmologist confirms its high generation quality. Notably, our knowledge mask surpasses supervised lesion segmentation masks, offering a promising non-invasive alternative to traditional FFA for research and clinical applications. The code is available at https://github.com/Michi-3000/Fundus2Video.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google