MIRAGE: Multimodal foundation model and benchmark for comprehensive retinal OCT image analysis

要約

人工知能（AI）は、臨床医が光コヒーレンス断層撮影（OCT）などの眼科画像の分析を支援するための基本的なツールになっています。
ただし、AIモデルの開発には広範な注釈が必要であり、既存のモデルが独立した目に見えないデータでパフォーマンスが低下する傾向があります。
ファンデーションモデル（FMS）、広大な非標識データセットでトレーニングされた大規模なAIモデルは、これらの課題を克服することを約束しています。
それにもかかわらず、眼科で利用可能なFMSは、特にセグメンテーションタスクの広範な検証がありません。また、単一のイメージングモダリティに焦点を当てています。
これに関連して、OCTおよびスキャンレーザー眼鏡（SLO）画像の分析のための新しいマルチモーダルFMであるMirageを提案します。
さらに、OCT/SLO分類とセグメンテーションタスクを備えた新しい評価ベンチマークを提案します。
一般的および専門的なFMSおよびセグメンテーション方法との比較は、両方のタイプのタスクにおけるミラージュの優位性を示しており、網膜OCT画像分析のための堅牢なAIシステムの開発の基礎としての適合性を強調しています。
Mirageと評価ベンチマークの両方が公開されています：https：//github.com/j-morano/mirage。

要約(オリジナル)

Artificial intelligence (AI) has become a fundamental tool for assisting clinicians in analyzing ophthalmic images, such as optical coherence tomography (OCT). However, developing AI models often requires extensive annotation, and existing models tend to underperform on independent, unseen data. Foundation models (FMs), large AI models trained on vast unlabeled datasets, have shown promise in overcoming these challenges. Nonetheless, available FMs for ophthalmology lack extensive validation, especially for segmentation tasks, and focus on a single imaging modality. In this context, we propose MIRAGE, a novel multimodal FM for the analysis of OCT and scanning laser ophthalmoscopy (SLO) images. Additionally, we propose a new evaluation benchmark with OCT/SLO classification and segmentation tasks. The comparison with general and specialized FMs and segmentation methods shows the superiority of MIRAGE in both types of tasks, highlighting its suitability as a basis for the development of robust AI systems for retinal OCT image analysis. Both MIRAGE and the evaluation benchmark are publicly available: https://github.com/j-morano/MIRAGE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google