Guidance in Radiology Report Summarization: An Empirical Evaluation and Error Analysis

要約

放射線医学レポートを簡潔な印象に自動的に要約することで、臨床医の手作業の負担が軽減され、レポートの一貫性が向上します。
以前の研究は、ガイド付きの抽象的な要約を通じてコン​​テンツの選択と事実性を強化することを目的としていました。
ただし、2 つの重要な問題が残ります。
まず、現在の方法は、ガイダンス信号を抽出するためにドメイン固有のリソースに大きく依存しており、それらのリソースが利用できないドメインや言語への転送可能性が制限されています。
第 2 に、ROUGE のような自動メトリクスは進捗状況を示しますが、このタスクのエラーと障害モードについては十分な理解が不足しています。
これらのギャップを埋めるために、私たちはまず、可変長の抽出要約の形式でドメインに依存しないガイダンス信号を提案します。
2 つの英語ベンチマークに関する私たちの経験的結果は、このガイダンス シグナルが、ドメイン固有の手法と競合しながら、ガイドなしの要約を改善することを示しています。
さらに、11 のきめ細かいエラーの分類に従って、4 つのシステムの専門家による評価を実行します。
自動要約と放射線科医の要約の最も差し迫った違いは、省略 (最大 52%) と追加 (最大 57%) を含む内容の選択に関係していることがわかりました。
私たちは、潜在的なレポート要素とコーパスレベルの不一致により、利用可能なデータからコンテンツの選択を確実に学習するモデルが制限され、将来の研究に有望な方向性が示される可能性があると仮説を立てています。

要約(オリジナル)

Automatically summarizing radiology reports into a concise impression can reduce the manual burden of clinicians and improve the consistency of reporting. Previous work aimed to enhance content selection and factuality through guided abstractive summarization. However, two key issues persist. First, current methods heavily rely on domain-specific resources to extract the guidance signal, limiting their transferability to domains and languages where those resources are unavailable. Second, while automatic metrics like ROUGE show progress, we lack a good understanding of the errors and failure modes in this task. To bridge these gaps, we first propose a domain-agnostic guidance signal in form of variable-length extractive summaries. Our empirical results on two English benchmarks demonstrate that this guidance signal improves upon unguided summarization while being competitive with domain-specific methods. Additionally, we run an expert evaluation of four systems according to a taxonomy of 11 fine-grained errors. We find that the most pressing differences between automatic summaries and those of radiologists relate to content selection including omissions (up to 52%) and additions (up to 57%). We hypothesize that latent reporting factors and corpus-level inconsistencies may limit models to reliably learn content selection from the available data, presenting promising directions for future work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google