Enhanced Knowledge Injection for Radiology Report Generation

要約

放射線医学レポートの自動生成は、放射線科医の大幅な作業負荷を軽減し、経験の浅い医師に潜在的な異常を思い出させることができるため、非常に臨床的価値があります。
自然画像分野におけるさまざまな画像キャプション手法の目覚ましいパフォーマンスにもかかわらず、医療画像の正確なレポートを生成するには、視覚データとテキストデータの差異や正確な領域知識の欠如などの課題に依然として直面しています。
これらの問題に対処するために、2 つのブランチを利用して異なる種類の知識を抽出する、強化された知識注入フレームワークを提案します。
Weighted Concept Knowledge (WCK) ブランチは、TF-IDF スコアによって重み付けされた臨床医学概念の導入を担当します。
Multimodal Retrieval Knowledge (MRK) ブランチは、同様のレポートからトリプレットを抽出し、エンティティの位置と存在に関連する重要な臨床情報を強調します。
このきめ細かく適切に構造化された知識を現在のイメージと統合することで、マルチソースの知識の獲得を活用して、最終的により正確なレポートの生成を容易にすることができます。
2 つの公開ベンチマークで広範な実験が実施され、私たちの手法が他の最先端の手法よりも優れたパフォーマンスを達成することが実証されました。
アブレーション研究では、抽出された 2 つの知識源の有効性がさらに検証されます。

要約(オリジナル)

Automatic generation of radiology reports holds crucial clinical value, as it can alleviate substantial workload on radiologists and remind less experienced ones of potential anomalies. Despite the remarkable performance of various image captioning methods in the natural image field, generating accurate reports for medical images still faces challenges, i.e., disparities in visual and textual data, and lack of accurate domain knowledge. To address these issues, we propose an enhanced knowledge injection framework, which utilizes two branches to extract different types of knowledge. The Weighted Concept Knowledge (WCK) branch is responsible for introducing clinical medical concepts weighted by TF-IDF scores. The Multimodal Retrieval Knowledge (MRK) branch extracts triplets from similar reports, emphasizing crucial clinical information related to entity positions and existence. By integrating this finer-grained and well-structured knowledge with the current image, we are able to leverage the multi-source knowledge gain to ultimately facilitate more accurate report generation. Extensive experiments have been conducted on two public benchmarks, demonstrating that our method achieves superior performance over other state-of-the-art methods. Ablation studies further validate the effectiveness of two extracted knowledge sources.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google