Local Contrastive Learning for Medical Image Recognition

要約

ディープ ラーニング (DL) ベースの放射線画像解析手法の普及により、専門家がラベル付けした放射線データに対する大きな需要が生まれました。
最近の自己管理フレームワークは、関連する放射線レポートからの監督を得ることにより、専門家のラベル付けの必要性を軽減しました。
ただし、これらのフレームワークは、医療画像のさまざまな病状の微妙な違いを区別するのに苦労しています。
さらに、それらの多くは画像領域とテキストの間の解釈を提供しないため、放射線科医がモデル予測を評価することは困難です。
この作業では、重要な画像領域の選択とモダリティ間の相互作用のためのレイヤーを追加する柔軟な微調整フレームワークである Local Region Contrastive Learning (LRCLR) を提案します。
胸部 X 線の外部検証セットに関する我々の結果は、LR​​CLR が重要な局所画像領域を識別し、いくつかの胸部 X 線医学所見のゼロ ショット パフォーマンスを改善しながら、放射線テキストに対して意味のある解釈を提供することを示唆しています。

要約(オリジナル)

The proliferation of Deep Learning (DL)-based methods for radiographic image analysis has created a great demand for expert-labeled radiology data. Recent self-supervised frameworks have alleviated the need for expert labeling by obtaining supervision from associated radiology reports. These frameworks, however, struggle to distinguish the subtle differences between different pathologies in medical images. Additionally, many of them do not provide interpretation between image regions and text, making it difficult for radiologists to assess model predictions. In this work, we propose Local Region Contrastive Learning (LRCLR), a flexible fine-tuning framework that adds layers for significant image region selection as well as cross-modality interaction. Our results on an external validation set of chest x-rays suggest that LRCLR identifies significant local image regions and provides meaningful interpretation against radiology text while improving zero-shot performance on several chest x-ray medical findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google