MCL: Multi-view Enhanced Contrastive Learning for Chest X-ray Report Generation

要約

放射線科レポートは、治療戦略を計画し、医師と患者のコミュニケーションを強化するために重要ですが、これらのレポートを手動で作成するのは放射線科医にとって負担です。
自動レポート生成は解決策を提供しますが、既存の方法は単一ビューの X 線写真に依存することが多く、診断精度が制限されます。
この問題に対処するために、胸部 X 線レポート生成のためのマルチビュー強化対照学習法である MCL を提案します。
具体的には、まず、多視点放射線写真とそれに対応するレポートの間の一致を最大化することにより、視覚表現のための多視点強化コントラスト学習を導入します。
その後、レポート生成に患者固有の兆候 (患者の症状など) を最大限に活用するために、欠落している兆候に対する移行的な「ブリッジ」を追加して、その有無によって引き起こされる埋め込みスペースの不一致を削減します。
さらに、マルチビュー レポート生成に関する研究をサポートするために、公的ソースからマルチビュー CXR およびツービュー CXR データセットを構築します。
私たちが提案する MCL は、複数のデータセットにわたって最近の最先端の手法を上回り、MIMIC-CXR で F1 RadGraph で 5.0% の改善、MIMIC-ABN で BLEU-1 で 7.3% の改善、Multi で BLEU-4 で 3.1% の改善を達成しました。
-view CXR、および Two-view CXR で 8.2% の F1 CheXbert 改善。

要約(オリジナル)

Radiology reports are crucial for planning treatment strategies and enhancing doctor-patient communication, yet manually writing these reports is burdensome for radiologists. While automatic report generation offers a solution, existing methods often rely on single-view radiographs, limiting diagnostic accuracy. To address this problem, we propose MCL, a Multi-view enhanced Contrastive Learning method for chest X-ray report generation. Specifically, we first introduce multi-view enhanced contrastive learning for visual representation by maximizing agreements between multi-view radiographs and their corresponding report. Subsequently, to fully exploit patient-specific indications (e.g., patient’s symptoms) for report generation, we add a transitional “bridge’ for missing indications to reduce embedding space discrepancies caused by their presence or absence. Additionally, we construct Multi-view CXR and Two-view CXR datasets from public sources to support research on multi-view report generation. Our proposed MCL surpasses recent state-of-the-art methods across multiple datasets, achieving a 5.0% F1 RadGraph improvement on MIMIC-CXR, a 7.3% BLEU-1 improvement on MIMIC-ABN, a 3.1% BLEU-4 improvement on Multi-view CXR, and an 8.2% F1 CheXbert improvement on Two-view CXR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google