Clinical BERTScore: An Improved Measure of Automatic Speech Recognition Performance in Clinical Settings

要約

医療コンテキストにおける自動音声認識 (ASR) には、時間の節約、コストの削減、レポートの精度の向上、および医師の燃え尽き症候群の軽減につながる可能性があります。
ただし、医療業界では、医療関連の転記ミスを避けることが重要であることもあり、この技術の採用は遅れています。
この作業では、Clinical BERTScore (CBERTScore) を提示します。これは、臨床的に関連する間違いを他のものよりも罰する ASR メトリックです。
この測定基準は、他の測定基準 (WER、BLUE、METEOR など) と比較して、医療文に対する臨床医の好みにより近く、場合によっては大幅に一致することを示しています。
私たちは、臨床医トランスクリプト選好ベンチマーク (CTP) と呼ばれる 149 の現実的な医療文に対する 13 の臨床医の選好のベンチマークを収集し、CBERTScore が臨床医の選好とより密接に一致することを実証し、コミュニティが臨床を意識した ASR メトリックをさらに開発するためのベンチマークをリリースします。

要約(オリジナル)

Automatic Speech Recognition (ASR) in medical contexts has the potential to save time, cut costs, increase report accuracy, and reduce physician burnout. However, the healthcare industry has been slower to adopt this technology, in part due to the importance of avoiding medically-relevant transcription mistakes. In this work, we present the Clinical BERTScore (CBERTScore), an ASR metric that penalizes clinically-relevant mistakes more than others. We demonstrate that this metric more closely aligns with clinician preferences on medical sentences as compared to other metrics (WER, BLUE, METEOR, etc), sometimes by wide margins. We collect a benchmark of 13 clinician preferences on 149 realistic medical sentences called the Clinician Transcript Preference benchmark (CTP), demonstrate that CBERTScore more closely matches what clinicians prefer, and release the benchmark for the community to further develop clinically-aware ASR metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google