A Systematic Review of Deep Learning-based Research on Radiology Report Generation

要約

放射線レポート生成 (RRG) は、胸部 X 線画像などの臨床 X 線写真からフリーテキストの説明を自動的に生成することを目的としています。
RRG は臨床自動化の推進において重要な役割を果たしており、経験の浅い医師に実践的な支援を提供し、放射線科医の作業負荷を軽減する上で重要な役割を果たします。
したがって、これらの有意義な可能性を考慮すると、RRG に関する研究は、特に深層学習アプローチの急速な発展により、過去 5 年間で爆発的な成長を遂げています。
既存の研究では、さまざまなモダリティを強化する観点から RRG を実行し、視覚情報とテキスト情報の両方から精緻な機能を使用してレポート生成プロセスを最適化するための洞察を提供し、それらの間のクロスモーダル相互作用により RRG をさらに促進します。
このペーパーでは、深層学習ベースの RRG をさまざまな観点から包括的にレビューします。
具体的には、まず、X線写真、レポート、およびそれらの間のクロスモーダル関係のタスク固有の特徴に基づいた極めて重要なRRGアプローチを取り上げ、次に、このタスクに従来使用されているベンチマークデータセットを評価指標で示し、その後、さまざまなデータセットのパフォーマンスを分析します。
最後に、課題と将来の方向性の傾向についての概要を示します。
全体として、この論文の目標は、既存の文献を理解し、RRG の分野で潜在的に価値のある研究を刺激するためのツールとして機能することです。

要約(オリジナル)

Radiology report generation (RRG) aims to automatically generate free-text descriptions from clinical radiographs, e.g., chest X-Ray images. RRG plays an essential role in promoting clinical automation and presents significant help to provide practical assistance for inexperienced doctors and alleviate radiologists’ workloads. Therefore, consider these meaningful potentials, research on RRG is experiencing explosive growth in the past half-decade, especially with the rapid development of deep learning approaches. Existing studies perform RRG from the perspective of enhancing different modalities, provide insights on optimizing the report generation process with elaborated features from both visual and textual information, and further facilitate RRG with the cross-modal interactions among them. In this paper, we present a comprehensive review of deep learning-based RRG from various perspectives. Specifically, we firstly cover pivotal RRG approaches based on the task-specific features of radiographs, reports, and the cross-modal relations between them, and then illustrate the benchmark datasets conventionally used for this task with evaluation metrics, subsequently analyze the performance of different approaches and finally offer our summary on the challenges and the trends in future directions. Overall, the goal of this paper is to serve as a tool for understanding existing literature and inspiring potential valuable research in the field of RRG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google