DRG-Net: Interactive Joint Learning of Multi-lesion Segmentation and Classification for Diabetic Retinopathy Grading

要約

糖尿病性網膜症 (DR) は、世界の失明の主な原因であり、失明を防ぎ、適切な治療をサポートするには、DR の早期発見が必要です。
この作業では、インタラクティブな機械学習を活用し、DRG-Net と呼ばれる共同学習フレームワークを導入して、疾患のグレーディングと複数病変のセグメンテーションの両方を効果的に学習します。
当社のDRG-Netは2つのモジュールで構成されています。(i)DRグレーディングを分類し、病変領域を特定し、視覚的な説明を提供するDRG-AIシステム。
(ii) ユーザー専門家からフィードバックを受け取り、DRG-AI システムを改善するための DRG-Expert-Interaction。
まばらなデータを処理するために、ワッサースタイン距離と敵対的学習ベースのエントロピー最小化を使用して、転移学習メカニズムを利用して不変の特徴表現を抽出します。
さらに、最も重要な病変情報を自動的に選択し、説明可能なプロパティを提供するために、低レベルと高レベルの両方の機能で新しい注意戦略を提案します。
人間の相互作用に関しては、専門家のユーザーがシステムの予測を修正できるようにするツールとしてDRG-Netをさらに開発し、システム全体を更新するために使用できます。
さらに、病変の特徴と分類の特徴の間の注意メカニズムと損失関数の制約のおかげで、ユーザーのフィードバックに一定レベルのノイズがある場合、私たちのアプローチは堅牢になります。
2 つの最大の DR データセット、つまり IDRID と FGADR で DRG-Net のベンチマークを行い、さまざまな最先端の深層学習ネットワークと比較しました。
他の SOTA アプローチより優れていることに加えて、DRG-Net はユーザー フィードバックを使用して効果的に更新されます。

要約(オリジナル)

Diabetic Retinopathy (DR) is a leading cause of vision loss in the world, and early DR detection is necessary to prevent vision loss and support an appropriate treatment. In this work, we leverage interactive machine learning and introduce a joint learning framework, termed DRG-Net, to effectively learn both disease grading and multi-lesion segmentation. Our DRG-Net consists of two modules: (i) DRG-AI-System to classify DR Grading, localize lesion areas, and provide visual explanations; (ii) DRG-Expert-Interaction to receive feedback from user-expert and improve the DRG-AI-System. To deal with sparse data, we utilize transfer learning mechanisms to extract invariant feature representations by using Wasserstein distance and adversarial learning-based entropy minimization. Besides, we propose a novel attention strategy at both low- and high-level features to automatically select the most significant lesion information and provide explainable properties. In terms of human interaction, we further develop DRG-Net as a tool that enables expert users to correct the system’s predictions, which may then be used to update the system as a whole. Moreover, thanks to the attention mechanism and loss functions constraint between lesion features and classification features, our approach can be robust given a certain level of noise in the feedback of users. We have benchmarked DRG-Net on the two largest DR datasets, i.e., IDRID and FGADR, and compared it to various state-of-the-art deep learning networks. In addition to outperforming other SOTA approaches, DRG-Net is effectively updated using user feedback, even in a weakly-supervised manner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google