Rad-ReStruct: A Novel VQA Benchmark and Method for Structured Radiology Reporting

要約

放射線科レポートは、放射線科医と他の医療専門家との間のコミュニケーションにおいて重要な部分ですが、時間がかかり、間違いが発生しやすいものです。
これを軽減するための 1 つのアプローチは構造化レポートです。これにより時間を節約し、フリーテキスト レポートよりも正確な評価が可能になります。
ただし、構造化レポートの自動化に関する研究は限られており、さまざまな方法を評価および比較するための公開ベンチマークはありません。
このギャップを埋めるために、X 線画像の構造化レポートの形式で、きめ細かく階層的に順序付けされたアノテーションを提供する新しいベンチマーク データセットである Rad-ReStruct を導入します。
我々は、構造化レポートタスクを階層型視覚的質問応答（VQA）としてモデル化し、構造化放射線医学レポートを作成するために以前に尋ねられた質問と回答の形で事前のコンテキストを考慮する新しい方法であるhi-VQAを提案します。
私たちの実験は、hi-VQA が医療用 VQA ベンチマーク VQARad で最先端に匹敵するパフォーマンスを達成しながら、ドメイン固有の視覚言語の事前トレーニングを行わない方法の中で最高のパフォーマンスを達成し、Rad-ReStruct で強力なベースラインを提供することを示しています。
私たちの研究は、構造化放射線レポートの自動作成に向けた重要な一歩を表しており、この分野の将来の研究に貴重な最初のベンチマークを提供します。
すべてのアノテーションと、アノテーション生成、モデル評価、トレーニング用のコードは、承認され次第公開されます。
データセットとコードは https://github.com/ChantalMP/Rad-ReStruct で入手できます。

要約(オリジナル)

Radiology reporting is a crucial part of the communication between radiologists and other medical professionals, but it can be time-consuming and error-prone. One approach to alleviate this is structured reporting, which saves time and enables a more accurate evaluation than free-text reports. However, there is limited research on automating structured reporting, and no public benchmark is available for evaluating and comparing different methods. To close this gap, we introduce Rad-ReStruct, a new benchmark dataset that provides fine-grained, hierarchically ordered annotations in the form of structured reports for X-Ray images. We model the structured reporting task as hierarchical visual question answering (VQA) and propose hi-VQA, a novel method that considers prior context in the form of previously asked questions and answers for populating a structured radiology report. Our experiments show that hi-VQA achieves competitive performance to the state-of-the-art on the medical VQA benchmark VQARad while performing best among methods without domain-specific vision-language pretraining and provides a strong baseline on Rad-ReStruct. Our work represents a significant step towards the automated population of structured radiology reports and provides a valuable first benchmark for future research in this area. We will make all annotations and our code for annotation generation, model evaluation, and training publicly available upon acceptance. Our dataset and code is available at https://github.com/ChantalMP/Rad-ReStruct.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google