Multimodal Image-Text Matching Improves Retrieval-based Chest X-Ray Report Generation

要約

【タイトル】
多様なモーダルの画像テキストマッチングが検索ベースの胸部X線検査報告書の生成を改善する

【要約】
・臨床的に正確な放射線学的報告書の自動生成は、患者のケアを向上させることができる。
・これまでの報告書生成方法は、画像キャプションモデルに依存していたため、関連するドメイン知識が欠如しており、不連続なテキストや不正確なテキストを生成することがよくあった。
・そこで、本研究では、Contrastive X-Ray REport Match（X-REM）を提案し、画像とラジオロジー報告書の類似性を測定するために画像テキストマッチングスコアを使用することで、検索ベースの放射線学的報告書生成モジュールを開発した。
・言語-画像モデルで画像テキストマッチングスコアを計算することで、精度が高く、それまでコサイン類似度を使った際に失われがちだった細かな画像とテキストの相互作用を捉えることができることが示された。
・X-REMは、自然言語および臨床メトリックの両方で、複数の先行する放射線学的報告生成モジュールを上回った。
・生成された報告書の人間による評価により、X-REMは、基本的な検索アプローチに比べて、ゼロエラーレポートの数を増やし、平均エラーの深刻度を減らすことが示された。
・コードは、https://github.com/rajpurkarlab/X-REMで利用可能である。

【要点】
・自動生成された正確な放射線学的報告書は、患者のケアを向上させることができる。
・画像キャプションモデルに頼る報告書生成方法では、ドメイン知識が不足していたため、不連続なテキストや不正確なテキストを生成することが多かった。
・提案したX-REMは、画像テキストマッチングスコアを使用して、画像とラジオロジーレポートの類似性を測定することで、検索ベースの放射線学的報告書生成モジュールを開発した。
・言語-画像モデルを使用することで、細かな画像とテキストの相互作用を捉えることができた。
・X-REMは、自然言語および臨床メトリックの両方で、複数の先行する放射線学的報告生成モジュールを上回った。
・X-REMは、ゼロエラーレポートの数を増やし、平均エラーの深刻度を減らすことができることが示された。
・コードは、https://github.com/rajpurkarlab/X-REMで利用可能である。

要約(オリジナル)

Automated generation of clinically accurate radiology reports can improve patient care. Previous report generation methods that rely on image captioning models often generate incoherent and incorrect text due to their lack of relevant domain knowledge, while retrieval-based attempts frequently retrieve reports that are irrelevant to the input image. In this work, we propose Contrastive X-Ray REport Match (X-REM), a novel retrieval-based radiology report generation module that uses an image-text matching score to measure the similarity of a chest X-ray image and radiology report for report retrieval. We observe that computing the image-text matching score with a language-image model can effectively capture the fine-grained interaction between image and text that is often lost when using cosine similarity. X-REM outperforms multiple prior radiology report generation modules in terms of both natural language and clinical metrics. Human evaluation of the generated reports suggests that X-REM increased the number of zero-error reports and decreased the average error severity compared to the baseline retrieval approach. Our code is available at: https://github.com/rajpurkarlab/X-REM

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI