DualStreamFoveaNet: A Dual Stream Fusion Architecture with Anatomical Awareness for Robust Fovea Localization

要約

網膜疾患を分析して不可逆的な視力喪失を防ぐには、中心窩の正確な位置特定が不可欠です。
現在の深層学習ベースの方法は従来の方法より優れていますが、中心窩周囲の局所的な解剖学的ランドマークの欠如、疾患のある網膜画像を堅牢に処理できないこと、画像状態の変動などの課題に依然として直面しています。
この論文では、マルチキュー融合のための DualStreamFoveaNet (DSFN) と呼ばれる新しいトランスフォーマーベースのアーキテクチャを提案します。
このアーキテクチャには、網膜と血管の分布を使用した長距離接続とグローバルな特徴が明示的に組み込まれており、堅牢な中心窩の位置特定が可能です。
デュアルストリーム エンコーダに空間注意メカニズムを導入して、自己学習した解剖学的情報を抽出して融合し、血管に沿って分布する特徴にさらに焦点を当て、トークン数を減らすことで計算コストを大幅に削減します。
私たちの広範な実験により、提案されたアーキテクチャが 2 つのパブリック データセットと 1 つの大規模プライベート データセットで最先端のパフォーマンスを達成することが示されました。
さらに、DSFN は正常な網膜画像と病気の網膜画像の両方でより堅牢であり、データセット間の実験においてより優れた汎化能力を備えていることを実証します。

要約(オリジナル)

Accurate fovea localization is essential for analyzing retinal diseases to prevent irreversible vision loss. While current deep learning-based methods outperform traditional ones, they still face challenges such as the lack of local anatomical landmarks around the fovea, the inability to robustly handle diseased retinal images, and the variations in image conditions. In this paper, we propose a novel transformer-based architecture called DualStreamFoveaNet (DSFN) for multi-cue fusion. This architecture explicitly incorporates long-range connections and global features using retina and vessel distributions for robust fovea localization. We introduce a spatial attention mechanism in the dual-stream encoder to extract and fuse self-learned anatomical information, focusing more on features distributed along blood vessels and significantly reducing computational costs by decreasing token numbers. Our extensive experiments show that the proposed architecture achieves state-of-the-art performance on two public datasets and one large-scale private dataset. Furthermore, we demonstrate that the DSFN is more robust on both normal and diseased retina images and has better generalization capacity in cross-dataset experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google