Contrastive Attention for Automatic Chest X-ray Report Generation

要約

タイトル：自動胸部X線報告書生成のための対照的アテンション

要約：
– 胸部X線報告書生成は、与えられた胸部X線画像の説明を自動的に生成することを目的としており、最近注目を集めている研究の一つである。
– 胸部X線報告書生成の主要な課題は、異常領域を正確に捉え、説明することである。
– 通常、正常領域が胸部X線画像全体を占め、これらの正常領域に対応する説明が最終報告書を支配するため、学習ベースのモデルは異常領域に注意を払うことに失敗することがある。
– この研究では、異常領域を効果的に捉え、説明するために、対照的アテンション（CA）モデルを提案している。
– CAモデルは、現在の入力画像だけでなく、正常画像と比較して対照情報を抽出することにより、異常領域の視覚的特徴をより正確に表現できる。
– 公開されているIU-X線およびMIMIC-CXRデータセットの実験によると、CAをいくつかの既存のモデルに組み込むことで、多くのメトリックでパフォーマンスが向上する。
– 分析によると、CAモデルは既存のモデルが異常領域により注意を払い、解釈可能な診断に重要な精度の高い説明を提供するのに役立つことがわかった。
– 具体的には、公開されている2つのデータセットで最高の結果を達成した。

要約(オリジナル)

Recently, chest X-ray report generation, which aims to automatically generate descriptions of given chest X-ray images, has received growing research interests. The key challenge of chest X-ray report generation is to accurately capture and describe the abnormal regions. In most cases, the normal regions dominate the entire chest X-ray image, and the corresponding descriptions of these normal regions dominate the final report. Due to such data bias, learning-based models may fail to attend to abnormal regions. In this work, to effectively capture and describe abnormal regions, we propose the Contrastive Attention (CA) model. Instead of solely focusing on the current input image, the CA model compares the current input image with normal images to distill the contrastive information. The acquired contrastive information can better represent the visual features of abnormal regions. According to the experiments on the public IU-X-ray and MIMIC-CXR datasets, incorporating our CA into several existing models can boost their performance across most metrics. In addition, according to the analysis, the CA model can help existing models better attend to the abnormal regions and provide more accurate descriptions which are crucial for an interpretable diagnosis. Specifically, we achieve the state-of-the-art results on the two public datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI