ECAMP: Entity-centered Context-aware Medical Vision Language Pre-training

要約

医療視覚言語の事前トレーニングは大幅に進歩したにもかかわらず、既存の手法では、放射線医学レポート内の固有のエンティティ固有のコンテキストや、テキストと画像間の複雑なクロスモダリティのコンテキスト関係がほとんど見落とされてきました。
このギャップを埋めるために、私たちは、よりエンティティ中心でコンテキストに依存した医療データの解釈を可能にするように設計された、新しいエンティティ中心のコンテキスト認識医療ビジョン言語事前トレーニング (ECAMP) フレームワークを提案します。
最近の強力な大規模言語モデルを利用して、医療レポートからエンティティ中心のコンテキストを抽出します。これにより、ECAMP はテキスト モダリティからより効果的な監視を得ることができます。
ECAMP は、慎重に設計されたエンティティ認識のコンテキスト強化マスク言語モデリングとコンテキストガイド付き超解像度タスクを使用してモデルをさらに事前トレーニングすることで、テキストと画像のモダリティ間の相互作用を大幅に改善し、エンティティ中心の抽出能力の強化につながります。
コンテキスト上の特徴。
さらに、私たちが提案するマルチスケール コンテキスト融合設計は、粗いレベルと細かいレベルの両方の画像表現のセマンティック統合も改善し、マルチスケールの下流アプリケーションのパフォーマンスの向上を促します。
これらのコンポーネントを組み合わせることで、現在の最先端の方法を大幅に上回るパフォーマンスの飛躍が得られ、医療画像におけるクロスモダリティ学習の新しい標準が確立されます。その有効性は、分類、セグメンテーション、検出などのさまざまなタスクに関する広範な実験によって実証されています。
いくつかの公開データセットにわたっています。
コードとモデルは https://github.com/ToniChopp/ECAMP で入手できます。

要約(オリジナル)

Despite significant advancements in medical vision-language pre-training, existing methods have largely overlooked the inherent entity-specific context within radiology reports and the complex cross-modality contextual relationships between text and images. To close this gap, we propose a novel Entity-centered Context-aware Medical Vision-language Pre-training (ECAMP) framework, which is designed to enable a more entity-centered and context-sensitive interpretation of medical data. Utilizing the recent powerful large language model, we distill entity-centered context from medical reports, which enables ECAMP to gain more effective supervision from the text modality. By further pre-training our model with carefully designed entity-aware, context-enhanced masked language modeling and context-guided super-resolution tasks, ECAMP significantly refines the interplay between text and image modalities, leading to an enhanced ability to extract entity-centered contextual features. Besides, our proposed multi-scale context fusion design also improves the semantic integration of both coarse and fine-level image representations, prompting better performance for multi-scale downstream applications. Combining these components leads to significant performance leaps over current state-of-the-art methods and establishes a new standard for cross-modality learning in medical imaging, whose effectiveness is demonstrated by our extensive experiments on various tasks including classification, segmentation, and detection across several public datasets. Code and models are available at https://github.com/ToniChopp/ECAMP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google