要約
初期段階の糖尿病性網膜症（DR）は、目立たない微小血管腫病変のため臨床診断に課題があり、この分野での研究は限られています。
さらに、医療シナリオにおけるセグメント エニシング モデル (SAM) などの新たな基礎モデルの可能性は、依然としてほとんど調査されていません。
この研究では、SAM に基づいた、GlanceSeg と呼ばれる人間参加型のラベルフリーの早期 DR 診断フレームワークを提案します。
GlanceSeg を使用すると、眼科医が眼底画像を検査する際に、微小血管腫病変をリアルタイムでセグメンテーションできます。
当社のヒューマンインザループフレームワークは眼科医の視線マップを統合しており、眼底画像内の微細な病変の大まかな位置特定を可能にします。
続いて、特定された関心領域に基づいて顕著性マップが生成され、基礎モデルが微小血管腫病変を効率的にセグメント化するのを支援する即時ポイントが提供されます。
最後に、ドメイン知識フィルターにより、微細な病変のセグメンテーションが洗練されます。
新たに構築したIDRiDとRetinal-Lesionsという2つの公開データセットを用いて実験を行い、可視化したイラストと定量的な尺度を通じてGlanceSegの実現可能性と優位性を検証しました。
さらに、GlanceSeg が臨床医の注釈効率を向上させ、注釈を使用した微調整を通じてセグメンテーションのパフォーマンスを向上させることを実証しました。
この研究は、自己モデルの最適化に対する GlanceSeg ベースのアノテーションの可能性を強調し、継続的な学習を通じて永続的なパフォーマンスの向上につながります。
要約(オリジナル)
Early-stage diabetic retinopathy (DR) presents challenges in clinical diagnosis due to inconspicuous and minute microangioma lesions, resulting in limited research in this area. Additionally, the potential of emerging foundation models, such as the segment anything model (SAM), in medical scenarios remains rarely explored. In this work, we propose a human-in-the-loop, label-free early DR diagnosis framework called GlanceSeg, based on SAM. GlanceSeg enables real-time segmentation of microangioma lesions as ophthalmologists review fundus images. Our human-in-the-loop framework integrates the ophthalmologist’s gaze map, allowing for rough localization of minute lesions in fundus images. Subsequently, a saliency map is generated based on the located region of interest, which provides prompt points to assist the foundation model in efficiently segmenting microangioma lesions. Finally, a domain knowledge filter refines the segmentation of minute lesions. We conducted experiments on two newly-built public datasets, i.e., IDRiD and Retinal-Lesions, and validated the feasibility and superiority of GlanceSeg through visualized illustrations and quantitative measures. Additionally, we demonstrated that GlanceSeg improves annotation efficiency for clinicians and enhances segmentation performance through fine-tuning using annotations. This study highlights the potential of GlanceSeg-based annotations for self-model optimization, leading to enduring performance advancements through continual learning.
arxiv情報
| 著者 | Hongyang Jiang,Mengdi Gao,Zirong Liu,Chen Tang,Xiaoqing Zhang,Shuai Jiang,Wu Yuan,Jiang Liu |
| 発行日 | 2023-11-14 10:59:45+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google