Bilateral-Fuser: A Novel Multi-cue Fusion Architecture with Anatomical-aware Tokens for Fovea Localization

要約

中心窩の正確な位置特定は、不可逆的な視力喪失を防ぐのに役立つため、網膜疾患を分析する際の主要なステップの 1 つです。
現在の深層学習ベースの方法は、従来の方法よりも優れたパフォーマンスを達成していますが、解剖学的ランドマークの利用が不十分である、病気の網膜画像に対する感度、およびさまざまな画像条件などの課題が依然として残っています。
この論文では、マルチキューフュージョンのための新しいトランスベースのアーキテクチャ（Bilateral-Fuser）を提案します。
このアーキテクチャには、堅牢な中心窩の位置特定のために網膜と血管の分布を使用して、長距離接続とグローバル機能が明示的に組み込まれています。
抽出し、自己学習した解剖学的情報を融合するためのデュアル ストリーム エンコーダーで空間的注意メカニズムを紹介します。
この設計は、血管に沿って分布する特徴に重点を置き、トークン数を減らすことで計算コストを大幅に削減します。
私たちの包括的な実験は、提案されたアーキテクチャが 2 つのパブリック データセットと 1 つの大規模なプライベート データセットで最先端のパフォーマンスを達成することを示しています。
また、バイラテラルフューザーは、正常な網膜画像と病気の網膜画像の両方でより堅牢であり、クロスデータセット実験で一般化能力が優れていることも示します。

要約(オリジナル)

Accurate localization of fovea is one of the primary steps in analyzing retinal diseases since it helps prevent irreversible vision loss. Although current deep learning-based methods achieve better performance than traditional methods, there still remain challenges such as utilizing anatomical landmarks insufficiently, sensitivity to diseased retinal images and various image conditions. In this paper, we propose a novel transformer-based architecture (Bilateral-Fuser) for multi-cue fusion. This architecture explicitly incorporates long-range connections and global features using retina and vessel distributions for robust fovea localization. We introduce a spatial attention mechanism in the dual-stream encoder for extracting and fusing self-learned anatomical information. This design focuses more on features distributed along blood vessels and significantly decreases computational costs by reducing token numbers. Our comprehensive experiments show that the proposed architecture achieves state-of-the-art performance on two public and one large-scale private datasets. We also present that the Bilateral-Fuser is more robust on both normal and diseased retina images and has better generalization capacity in cross-dataset experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google