The Impact of AI Assistance on Radiology Reporting: A Pilot Study Using Simulated AI Draft Reports

要約

放射線科医は、画像処理量の増加に伴う仕事量のプレッシャーの増大に直面しており、燃え尽き症候群や報告時間の遅れのリスクが生じています。
人工知能 (AI) ベースの自動放射線レポート生成は、レポートのワークフローの最適化に有望である一方で、臨床の精度と効率に対する現実の影響を示す証拠は依然として限られています。
この研究では、標準レポート ワークフローと AI 支援レポート ワークフローを比較する 3 読者によるマルチケーススタディを実施することで、放射線科レポート ワークフローに対するドラフト レポートの影響を評価しました。
どちらのワークフローでも、放射線科医は症例をレビューし、標準テンプレート (標準ワークフロー) または AI で生成されたドラフトレポート (AI 支援ワークフロー) のいずれかを修正して、最終レポートを作成しました。
制御された評価では、GPT-4 を使用してシミュレートされた AI ドラフトを生成し、実際の AI システムのパフォーマンスを模倣するために、ケースの半分に 1 ～ 3 個のエラーを意図的に導入しました。
AI 支援ワークフローにより、ワークフロー間の臨床的に重大なエラーに統計的に有意な差はなく、平均レポート時間が 573 秒から 435 秒に大幅に短縮されました (p=0.003)。
これらの調査結果は、AI によって生成されたドラフトが診断精度を維持しながら放射線科レポートを大幅に加速し、臨床現場で増大するワークロードの課題に対処する実用的なソリューションを提供できることを示唆しています。

要約(オリジナル)

Radiologists face increasing workload pressures amid growing imaging volumes, creating risks of burnout and delayed reporting times. While artificial intelligence (AI) based automated radiology report generation shows promise for reporting workflow optimization, evidence of its real-world impact on clinical accuracy and efficiency remains limited. This study evaluated the effect of draft reports on radiology reporting workflows by conducting a three reader multi-case study comparing standard versus AI-assisted reporting workflows. In both workflows, radiologists reviewed the cases and modified either a standard template (standard workflow) or an AI-generated draft report (AI-assisted workflow) to create the final report. For controlled evaluation, we used GPT-4 to generate simulated AI drafts and deliberately introduced 1-3 errors in half the cases to mimic real AI system performance. The AI-assisted workflow significantly reduced average reporting time from 573 to 435 seconds (p=0.003), without a statistically significant difference in clinically significant errors between workflows. These findings suggest that AI-generated drafts can meaningfully accelerate radiology reporting while maintaining diagnostic accuracy, offering a practical solution to address mounting workload challenges in clinical practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google