Medical Report Generation based on Segment-Enhanced Contrastive Representation Learning

要約

放射線医学レポートの自動生成は、放射線医学レポートを改善し、放射線科医の作業負荷を軽減する可能性があります。
ただし、医療レポートの作成タスクには、利用可能な医療データが限られていることとデータの偏りが存在するため、特有の課題が生じます。
利用可能なデータの有用性を最大化し、データの偏りを減らすために、私たちは、SAM (Segment Anything Model) を利用して臓器、異常、骨などをセグメント化するフレームワークである MSCL (Medical image Segmentation with Contrastive Learning) を提案します。
より良い視覚的表現を得るために、画像内の意味のある ROI に注目してください。
次に、トレーニング中にターゲットと意味的に類似するレポートにより多くの重みを割り当てる教師付きコントラスト損失を導入します。
この損失関数の設計は、データのバイアスの影響を軽減し、モデルが医療画像の重要な特徴を捕捉して高品質のレポートを生成することを促進することを目的としています。
実験結果は、私たちが提案したモデルの有効性を実証しており、IU X 線公開データセットで最先端のパフォーマンスを達成しています。

要約(オリジナル)

Automated radiology report generation has the potential to improve radiology reporting and alleviate the workload of radiologists. However, the medical report generation task poses unique challenges due to the limited availability of medical data and the presence of data bias. To maximize the utility of available data and reduce data bias, we propose MSCL (Medical image Segmentation with Contrastive Learning), a framework that utilizes the Segment Anything Model (SAM) to segment organs, abnormalities, bones, etc., and can pay more attention to the meaningful ROIs in the image to get better visual representations. Then we introduce a supervised contrastive loss that assigns more weight to reports that are semantically similar to the target while training. The design of this loss function aims to mitigate the impact of data bias and encourage the model to capture the essential features of a medical image and generate high-quality reports. Experimental results demonstrate the effectiveness of our proposed model, where we achieve state-of-the-art performance on the IU X-Ray public dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google