Comparative Experimentation of Accuracy Metrics in Automated Medical Reporting: The Case of Otitis Consultations

要約

生成人工知能 (AI) を使用すると、医療相談の記録に基づいて医療レポートを自動的に生成できます。
目的は、医療従事者が直面する管理上の負担を軽減することです。
生成されたレポートの正確さと有用性を保証するには、その精度を確立する必要があります。
AI によって生成されたレポートの精度を測定するための指標はいくつかありますが、医療レポートへのこれらの指標の適用に向けた取り組みはほとんど行われていません。
AI が生成した医療レポートと、中耳炎の診察に関する一般開業医 (GP) の対応する医療レポートに対して、10 の精度指標の比較実験が行われました。
生成されたレポートの欠落、不正確、および追加のステートメントの数は、メトリック スコアと相関付けられています。
さらに、自動医療レポートの分野内の指標を比較するための単一スコアを生成する複合精度スコアを導入および定義します。
調査結果は、相関研究と複合精度スコアに基づいて、ROUGE-L と Word Mover の距離メトリクスが推奨されるメトリクスであることを示していますが、これは以前の研究と一致していません。
これらの発見は、AI が生成する医療レポートの精度を判断するのに役立ち、一般開業医向けの医療レポートを作成して管理負担を軽減するシステムの開発に役立ちます。

要約(オリジナル)

Generative Artificial Intelligence (AI) can be used to automatically generate medical reports based on transcripts of medical consultations. The aim is to reduce the administrative burden that healthcare professionals face. The accuracy of the generated reports needs to be established to ensure their correctness and usefulness. There are several metrics for measuring the accuracy of AI generated reports, but little work has been done towards the application of these metrics in medical reporting. A comparative experimentation of 10 accuracy metrics has been performed on AI generated medical reports against their corresponding General Practitioner’s (GP) medical reports concerning Otitis consultations. The number of missing, incorrect, and additional statements of the generated reports have been correlated with the metric scores. In addition, we introduce and define a Composite Accuracy Score which produces a single score for comparing the metrics within the field of automated medical reporting. Findings show that based on the correlation study and the Composite Accuracy Score, the ROUGE-L and Word Mover’s Distance metrics are the preferred metrics, which is not in line with previous work. These findings help determine the accuracy of an AI generated medical report, which aids the development of systems that generate medical reports for GPs to reduce the administrative burden.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google