Quality Control for Radiology Report Generation Models via Auxiliary Auditing Components

要約

医用画像読影の自動化は、診断ワークフローのボトルネックを軽減する可能性があり、自然言語処理の進歩により、近年特に注目を集めています。
AI による放射線医学レポートの自動生成に向けて大きな進歩が見られましたが、生成されたレポートの臨床精度を確保することは大きな課題であり、臨床現場でのそのような方法の導入を妨げています。
この研究では、モジュール式の補助監査コンポーネント (AC) を使用して、診断上の重要性のセマンティクスに関して AI で生成された放射線医学レポートの信頼性を評価するための品質管理フレームワークを提案します。
MIMIC-CXR データセットでパイプラインを評価したところ、疾患分類子の形式で AC を組み込むことで、より信頼性の高いレポートを特定する監査が可能になり、その結果、フィルターされていない生成されたレポートと比較して F1 スコアが高くなることがわかりました。
さらに、AC ラベルの信頼性を活用することで、監査の有効性がさらに向上します。

要約(オリジナル)

Automation of medical image interpretation could alleviate bottlenecks in diagnostic workflows, and has become of particular interest in recent years due to advancements in natural language processing. Great strides have been made towards automated radiology report generation via AI, yet ensuring clinical accuracy in generated reports is a significant challenge, hindering deployment of such methods in clinical practice. In this work we propose a quality control framework for assessing the reliability of AI-generated radiology reports with respect to semantics of diagnostic importance using modular auxiliary auditing components (AC). Evaluating our pipeline on the MIMIC-CXR dataset, our findings show that incorporating ACs in the form of disease-classifiers can enable auditing that identifies more reliable reports, resulting in higher F1 scores compared to unfiltered generated reports. Additionally, leveraging the confidence of the AC labels further improves the audit’s effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google