Medical Image Captioning via Generative Pretrained Transformers

要約

自動臨床キャプション生成問題は、胸部正面 X 線スキャンの分析と放射線記録からの構造化された患者情報を組み合わせた提案モデルと呼ばれます。
Show-Attend-Tell と GPT-3 の 2 つの言語モデルを組み合わせて、包括的で説明的な放射線記録を生成します。
これらのモデルの提案された組み合わせは、見つかった病状、その場所、および元の X 線スキャンで各病状をローカライズする 2D ヒートマップに関する重要な情報を含むテキストの要約を生成します。
提案されたモデルは、2 つの医療データセット、Open-I、MIMIC-CXR、および汎用 MS-COCO でテストされます。
自然言語評価指標で測定された結果は、胸部 X 線画像キャプションへの効率的な適用性を証明しています。

要約(オリジナル)

The automatic clinical caption generation problem is referred to as proposed model combining the analysis of frontal chest X-Ray scans with structured patient information from the radiology records. We combine two language models, the Show-Attend-Tell and the GPT-3, to generate comprehensive and descriptive radiology records. The proposed combination of these models generates a textual summary with the essential information about pathologies found, their location, and the 2D heatmaps localizing each pathology on the original X-Ray scans. The proposed model is tested on two medical datasets, the Open-I, MIMIC-CXR, and the general-purpose MS-COCO. The results measured with the natural language assessment metrics prove their efficient applicability to the chest X-Ray image captioning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google