Multi-modal vision-language model for generalizable annotation-free pathological lesions localization and clinical diagnosis

要約

医療画像から病理を自動的に定義することは、病気の発生と進行の理解を助けるものであり、このような能力は臨床診断において非常に重要です。
ただし、既存の深層学習モデルは専門家の注釈に大きく依存しており、オープンな臨床環境での一般化機能が不足しています。
この研究では、アノテーションフリーの病理学的病変の位置特定 (AFLoc) のための一般化可能な視覚言語事前トレーニング モデルを紹介します。
AFLoc の中核的な強みは、広範なマルチレベルの意味構造に基づく対比学習にあり、豊富な画像特徴を備えたレポートから多粒度の医療概念を包括的に調整し、画像に依存せずに病理や目に見えない病理の多様な表現に適応します。
専門家からの注釈。
11 種類の胸部病変を含む 4 つの異なる外部データセットにわたる広範な実験検証を行い、CXR 画像で概念実証を実証します。
この結果は、AFLoc が病変の位置特定と疾患分類において最先端の方法を上回り、5 つの異なる病変の位置特定においては人間のベンチマークをも上回ることを示しています。
さらに、それを網膜眼底画像に適用することにより、その汎化能力をさらに検証します。
私たちのアプローチは AFoc の多用途性を示し、複雑な臨床環境における臨床診断への適合性を強調します。

要約(オリジナル)

Defining pathologies automatically from medical images aids the understanding of the emergence and progression of diseases, and such an ability is crucial in clinical diagnostics. However, existing deep learning models heavily rely on expert annotations and lack generalization capabilities in open clinical environments. In this study, we present a generalizable vision-language pre-training model for Annotation-Free pathological lesions Localization (AFLoc). The core strength of AFLoc lies in its extensive multi-level semantic structure-based contrastive learning, which comprehensively aligns multi-granularity medical concepts from reports with abundant image features, to adapt to the diverse expressions of pathologies and unseen pathologies without the reliance on image annotations from experts. We demonstrate the proof of concept on CXR images, with extensive experimental validation across 4 distinct external datasets, encompassing 11 types of chest pathologies. The results demonstrate that AFLoc surpasses state-of-the-art methods in pathological lesions localization and disease classification, and even outperforms the human benchmark in locating 5 different pathologies. Additionally, we further verify its generalization ability by applying it to retinal fundus images. Our approach showcases AFoc versatilities and underscores its suitability for clinical diagnoses in complex clinical environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google