FactReranker: Fact-guided Reranker for Faithful Radiology Report Summarization

要約

放射線レポートの自動要約は重要な臨床タスクであり、その主な課題は、作成された要約とグラウンド トゥルースの放射線学の所見との間で事実の正確性を維持することです。
既存の研究では、強化学習を採用して、CheXBert や RadGraph スコアなどの事実の一貫性指標を直接最適化しています。
しかし、グリーディ サーチまたはビーム サーチを使用する彼らのデコード方法は、最適な候補を選択する際に事実の一貫性を考慮しないため、事実の一貫性の改善は限定的です。
これは、推定された事実の一貫性スコアに基づいて、すべての候補から最適な要約を選択することを学習する最初の試みです。
入力された医療レポート、そのゴールド サマリー、候補サマリーの医学的事実を RadGraph スキーマに基づいて抽出し、抽出された医学的事実を効率的に組み込んで最適な要約を選択するようにファクト ガイド付きリランカーを設計することを提案します。
事実に基づくリランカーを事実知識グラフ生成と事実スコアラーに分解します。これにより、リランカーは入力テキストの医学的事実とそのゴールド サマリーの間のマッピングをモデル化できるようになり、ゴールド サマリーでも最適なサマリーを選択できるようになります。
推論中に観察されません。
また、事実に基づく一貫性のある候補を選択するリランカーの能力を測定するための事実に基づくランキング メトリック (RadMRR) も提示します。
2 つのベンチマーク データセットでの実験結果は、既存の方法と比較して、事実の一貫性スコアが高い要約を生成する上で、私たちの方法の優位性を示しています。

要約(オリジナル)

Automatic radiology report summarization is a crucial clinical task, whose key challenge is to maintain factual accuracy between produced summaries and ground truth radiology findings. Existing research adopts reinforcement learning to directly optimize factual consistency metrics such as CheXBert or RadGraph score. However, their decoding method using greedy search or beam search considers no factual consistency when picking the optimal candidate, leading to limited factual consistency improvement. To address it, we propose a novel second-stage summarizing approach FactReranker, the first attempt that learns to choose the best summary from all candidates based on their estimated factual consistency score. We propose to extract medical facts of the input medical report, its gold summary, and candidate summaries based on the RadGraph schema and design the fact-guided reranker to efficiently incorporate the extracted medical facts for selecting the optimal summary. We decompose the fact-guided reranker into the factual knowledge graph generation and the factual scorer, which allows the reranker to model the mapping between the medical facts of the input text and its gold summary, thus can select the optimal summary even the gold summary can’t be observed during inference. We also present a fact-based ranking metric (RadMRR) for measuring the ability of the reranker on selecting factual consistent candidates. Experimental results on two benchmark datasets demonstrate the superiority of our method in generating summaries with higher factual consistency scores when compared with existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google