Multimodal Information Fusion for Glaucoma and DR Classification

要約

医療業務では、マルチモーダルな情報が頻繁に利用される。複数の情報を組み合わせることで、臨床医はより正確な判断を下すことができる。近年、網膜解析のために複数の画像技術が臨床で使用されている：2D眼底写真、3D光コヒーレンス・トモグラフィー（OCT）、3D OCTアンギオグラフィー、などである。本論文では、網膜解析タスクを解決するためのディープラーニングに基づく3つのマルチモーダル情報融合戦略（早期融合、中間融合、階層的融合）を調査している。一般的に用いられる早期融合と中間融合はシンプルであるが、モダリティ間の相補的な情報を十分に活用できてはいない。我々は、ネットワークの多次元にわたる特徴を組み合わせるとともに、モダリティ間の相関を探索することに重点を置いた、階層的な融合アプローチを開発した。これらのアプローチを緑内障と糖尿病性網膜症の分類に適用し，それぞれGAMMAデータセット（眼底写真とOCT）とPlexElite 9000 (Carl Zeis Meditec Inc.) OCT angiography acquisitionのプライベートデータセットを用いて解析を行った．我々の階層的フュージョン手法は、どちらのケースでも最高のパフォーマンスを示し、より良い臨床診断への道を開いた。

要約(オリジナル)

Multimodal information is frequently available in medical tasks. By combining information from multiple sources, clinicians are able to make more accurate judgments. In recent years, multiple imaging techniques have been used in clinical practice for retinal analysis: 2D fundus photographs, 3D optical coherence tomography (OCT) and 3D OCT angiography, etc. Our paper investigates three multimodal information fusion strategies based on deep learning to solve retinal analysis tasks: early fusion, intermediate fusion, and hierarchical fusion. The commonly used early and intermediate fusions are simple but do not fully exploit the complementary information between modalities. We developed a hierarchical fusion approach that focuses on combining features across multiple dimensions of the network, as well as exploring the correlation between modalities. These approaches were applied to glaucoma and diabetic retinopathy classification, using the public GAMMA dataset (fundus photographs and OCT) and a private dataset of PlexElite 9000 (Carl Zeis Meditec Inc.) OCT angiography acquisitions, respectively. Our hierarchical fusion method performed the best in both cases and paved the way for better clinical diagnosis.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL