Eye tracking guided deep multiple instance learning with dual cross-attention for fundus disease detection

要約

タイトル：デュアルクロスアテンションを用いたアイ トラッキングによる深層複数インスタンス学習による眼底疾患検出

要約：
– DNN（深層ニューラルネットワーク）は、眼底疾患のコンピュータ支援診断（CAD）システムの開発を促進し、眼科医が見逃しや誤診率を減らすのに役立っている。
– CADシステムの大半はデータ駆動型で、パフォーマンスに影響を与える医学的事前知識が欠けている。
– これに関しては、眼科医のアイ トラッキング情報を活用したヒューマンインザループ（HITL）CADシステムを提唱することで切り開く。
– HITL CADシステムは、アイ トラッキングの視線地図を診断に関連するインスタンスを選び出すのに有益なMIL（複数インスタンス学習）上で実装された。さらに、ノイズのあるインスタンスの逆効果を抑制するためにデュアルクロスアテンションMIL（DCAMIL）ネットワークが利用された。同時に、トレーニングバッグの中のインスタンスを豊富化し、標準化するために、シークエンス増幅モジュールとドメイン対抗モジュールの両方が導入され、手法の堅牢性が向上した。
– AMD-GazeおよびDR-Gazeという新しく構築されたデータセットについて、AMDおよび早期DRの検出用にそれぞれ比較的な実験を行い、HITL CADシステムの実現可能性と提案されたDCAMILの優越性を厳密に検証した。
– これらの調査は、医師の視線地図が、臨床疾患のCADシステムに貢献する可能性があることを示唆している。

要約(オリジナル)

Deep neural networks (DNNs) have promoted the development of computer aided diagnosis (CAD) systems for fundus diseases, helping ophthalmologists reduce missed diagnosis and misdiagnosis rate. However, the majority of CAD systems are data-driven but lack of medical prior knowledge which can be performance-friendly. In this regard, we innovatively proposed a human-in-the-loop (HITL) CAD system by leveraging ophthalmologists’ eye-tracking information, which is more efficient and accurate. Concretely, the HITL CAD system was implemented on the multiple instance learning (MIL), where eye-tracking gaze maps were beneficial to cherry-pick diagnosis-related instances. Furthermore, the dual-cross-attention MIL (DCAMIL) network was utilized to curb the adverse effects of noisy instances. Meanwhile, both sequence augmentation module and domain adversarial module were introduced to enrich and standardize instances in the training bag, respectively, thereby enhancing the robustness of our method. We conduct comparative experiments on our newly constructed datasets (namely, AMD-Gaze and DR-Gaze), respectively for the AMD and early DR detection. Rigorous experiments demonstrate the feasibility of our HITL CAD system and the superiority of the proposed DCAMIL, fully exploring the ophthalmologists’ eye-tracking information. These investigations indicate that physicians’ gaze maps, as medical prior knowledge, is potential to contribute to the CAD systems of clinical diseases.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI