Common and Rare Fundus Diseases Identification Using Vision-Language Foundation Model with Knowledge of Over 400 Diseases

要約

現在の網膜人工知能モデルは、限られたカテゴリの疾患と限られた知識のデータを使用してトレーニングされました。
この論文では、400 を超える眼底疾患の知識を備えた網膜視覚言語基礎モデル (RetiZero) を紹介します。
具体的には、29 の公的に利用可能なデータセット、180 冊の眼科書籍、およびオンライン リソースからテキスト説明と組み合わせた 341,896 枚の眼底画像を収集し、複数の国や民族にわたる 400 以上の眼底疾患を網羅しました。
RetiZero は、ゼロショット網膜疾患認識、画像間検索、内部ドメインおよびクロスドメイン網膜疾患分類、少数ショット微調整など、さまざまな下流タスクにわたって優れたパフォーマンスを達成しました。
特に、ゼロショット シナリオでは、RetiZero は 15 件と 52 件の眼底疾患でそれぞれ 0.8430 と 0.7561 のトップ 5 スコアを達成しました。
画像検索タスクでは、RetiZero は 15 件と 52 件の網膜疾患でそれぞれ 0.9500 と 0.8860 のトップ 5 スコアを達成しました。
さらに、各国の眼科専門家による臨床評価では、RetiZero がモデルの再トレーニングを必要とせずに、ゼロショットおよび画像検索手法を使用して経験豊富な眼科医と同等のパフォーマンスを達成できることが実証されています。
網膜疾患を識別するこれらの機能は、臨床実装における当社の RetiZero 基盤モデルを強化します。

要約(オリジナル)

The current retinal artificial intelligence models were trained using data with a limited category of diseases and limited knowledge. In this paper, we present a retinal vision-language foundation model (RetiZero) with knowledge of over 400 fundus diseases. Specifically, we collected 341,896 fundus images paired with text descriptions from 29 publicly available datasets, 180 ophthalmic books, and online resources, encompassing over 400 fundus diseases across multiple countries and ethnicities. RetiZero achieved outstanding performance across various downstream tasks, including zero-shot retinal disease recognition, image-to-image retrieval, internal domain and cross-domain retinal disease classification, and few-shot fine-tuning. Specially, in the zero-shot scenario, RetiZero achieved a Top5 score of 0.8430 and 0.7561 on 15 and 52 fundus diseases respectively. In the image-retrieval task, RetiZero achieved a Top5 score of 0.9500 and 0.8860 on 15 and 52 retinal diseases respectively. Furthermore, clinical evaluations by ophthalmology experts from different countries demonstrate that RetiZero can achieve performance comparable to experienced ophthalmologists using zero-shot and image retrieval methods without requiring model retraining. These capabilities of retinal disease identification strengthen our RetiZero foundation model in clinical implementation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google