Style-Aware Radiology Report Generation with RadGraph and Few-Shot Prompting

要約

医療画像から自動的に生成されるレポートは、放射線科医のワークフローの改善を約束します。
既存の方法では、画像から本格的なレポートを直接生成することで、画像からレポートへのモデリング タスクを検討します。
ただし、これではレポートの内容 (所見とその属性など) とそのスタイル (形式や言葉の選択など) が混同され、臨床的に不正確なレポートが生じる可能性があります。
これに対処するために、放射線医学レポート作成のための 2 段階のアプローチを提案します。
まず、画像からコンテンツを抽出します。
次に、抽出した内容を言語化し、特定の放射線科医のスタイルに合わせたレポートを作成します。
このために、レポートのグラフ表現である RadGraph と大規模言語モデル (LLM) を活用します。
定量的な評価では、私たちのアプローチが有益なパフォーマンスにつながっていることがわかりました。
臨床評価者による人間による評価では、コンテキストとして少数の例しか活用していないにもかかわらず、AI によって生成されたレポートが個々の放射線科医のスタイルに見分けがつかないように調整されていることがわかりました。

要約(オリジナル)

Automatically generated reports from medical images promise to improve the workflow of radiologists. Existing methods consider an image-to-report modeling task by directly generating a fully-fledged report from an image. However, this conflates the content of the report (e.g., findings and their attributes) with its style (e.g., format and choice of words), which can lead to clinically inaccurate reports. To address this, we propose a two-step approach for radiology report generation. First, we extract the content from an image; then, we verbalize the extracted content into a report that matches the style of a specific radiologist. For this, we leverage RadGraph — a graph representation of reports — together with large language models (LLMs). In our quantitative evaluations, we find that our approach leads to beneficial performance. Our human evaluation with clinical raters highlights that the AI-generated reports are indistinguishably tailored to the style of individual radiologist despite leveraging only a few examples as context.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google