Boosting Radiology Report Generation by Infusing Comparison Prior

要約

最近の変圧器ベースのモデルは、胸部 X 線画像から放射線医学レポートを生成する点で大幅な進歩を遂げています。
ただし、顕著な課題が残っています。これらのモデルには事前知識が欠けていることが多く、その結果、存在しない以前の試験を誤って参照する合成レポートが生成されてしまいます。
この矛盾は、放射線科医と生成モデルとの間の知識のギャップに起因すると考えられます。
放射線科医は患者固有の事前情報を持っていますが、モデルは特定の時点での X 線画像のみを受け取ります。
この問題に取り組むために、ルールベースのラベラーを活用して放射線医学レポートから比較前の情報を抽出する新しいアプローチを提案します。
この抽出された比較結果は、最先端の変圧器ベースのモデルにシームレスに統合され、より現実的で包括的なレポートを作成できるようになります。
私たちの手法は、IU X 線や MIMIC-CXR などの英語のレポート データセットで評価されます。
結果は、私たちのアプローチが自然言語生成指標の点でベースライン モデルを上回っていることを示しています。
特に、私たちのモデルは、存在しない以前の試験への誤った参照のないレポートを生成し、以前のモデルとは一線を画しています。
この制限に対処することで、私たちのアプローチは、医療レポート生成の領域における放射線科医と生成モデルの間のギャップを埋めるための重要な一歩を表します。

要約(オリジナル)

Recent transformer-based models have made significant strides in generating radiology reports from chest X-ray images. However, a prominent challenge remains: these models often lack prior knowledge, resulting in the generation of synthetic reports that mistakenly reference non-existent prior exams. This discrepancy can be attributed to a knowledge gap between radiologists and the generation models. While radiologists possess patient-specific prior information, the models solely receive X-ray images at a specific time point. To tackle this issue, we propose a novel approach that leverages a rule-based labeler to extract comparison prior information from radiology reports. This extracted comparison prior is then seamlessly integrated into state-of-the-art transformer-based models, enabling them to produce more realistic and comprehensive reports. Our method is evaluated on English report datasets, such as IU X-ray and MIMIC-CXR. The results demonstrate that our approach surpasses baseline models in terms of natural language generation metrics. Notably, our model generates reports that are free from false references to non-existent prior exams, setting it apart from previous models. By addressing this limitation, our approach represents a significant step towards bridging the gap between radiologists and generation models in the domain of medical report generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google