Reading Radiology Imaging Like The Radiologist

要約

自動放射線医学レポート生成は、放射線画像の詳細で詳細な説明を含む放射線医学レポートを生成することを目的としています。
自然画像領域の画像キャプションと比較すると、医療画像は互いに非常によく似ており、病気の発生にわずかな違いがあるだけです。
放射線医学レポートにおけるこれらの小さな違いの重要性を考慮すると、疾患発生の微妙な領域にさらに焦点を当てるようにモデルを奨励することが重要です。
第二に、視覚的データとテキストデータのバイアスの問題は深刻です。
正常な症例がデータセットの大部分を占めるだけでなく、病理学的変化のある領域を説明する文も段落のほんの一部を構成します。
最後に、医療画像レポートの生成には長いテキストの生成という課題が伴い、これにはより多くの専門知識と医療知識の経験的トレーニングが必要です。
結果として、そのようなレポートを作成する難易度は高くなります。
これらの課題に対処するために、同様のレポートを事前知識の参照として利用する疾患指向の検索フレームワークを提案します。
私たちは、より正確で事実と一貫した疾患説明を生成するために、事実と一貫したキャプションジェネレーターを設計します。
私たちのフレームワークは、位置と形態学的特徴から構成される疾患指向のマスクを取得することにより、CXR データベースから特定の疾患について最も類似したレポートを見つけることができます。
疾患指向の類似レポートと視覚的特徴を参照することにより、事実一貫性モデルにより、より正確な放射線医学レポートを生成できます。

要約(オリジナル)

Automated radiology report generation aims to generate radiology reports that contain rich, fine-grained descriptions of radiology imaging. Compared with image captioning in the natural image domain, medical images are very similar to each other, with only minor differences in the occurrence of diseases. Given the importance of these minor differences in the radiology report, it is crucial to encourage the model to focus more on the subtle regions of disease occurrence. Secondly, the problem of visual and textual data biases is serious. Not only do normal cases make up the majority of the dataset, but sentences describing areas with pathological changes also constitute only a small part of the paragraph. Lastly, generating medical image reports involves the challenge of long text generation, which requires more expertise and empirical training in medical knowledge. As a result, the difficulty of generating such reports is increased. To address these challenges, we propose a disease-oriented retrieval framework that utilizes similar reports as prior knowledge references. We design a factual consistency captioning generator to generate more accurate and factually consistent disease descriptions. Our framework can find most similar reports for a given disease from the CXR database by retrieving a disease-oriented mask consisting of the position and morphological characteristics. By referencing the disease-oriented similar report and the visual features, the factual consistency model can generate a more accurate radiology report.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google