Clinical BERTScore: An Improved Measure of Automatic Speech Recognition Performance in Clinical Settings

要約

タイトル：医療現場における自動音声認識性能の向上に向けたクリニカルBERTScore

要約：
– 医療現場での自動音声認識（ASR）は、時間短縮、コスト削減、報告書の正確性向上、医師のバーンアウトの軽減などのメリットがある。
– しかし、ASR技術を採用する際には、医学的に深刻なミスを避けることが重要であり、そのため、医療業界はASR技術の導入には慎重な姿勢を取っている。
– 本研究では、クリニカルBERTScore（CBERTScore）というASRメトリックを提案し、医学的に重要なミスを他のミスよりも厳しく罰則化することで、医師の嗜好により合致するASRメトリックであることを示す。
– 149の現実的な医学文に18人の医師の嗜好を集め、CBERTScoreが医師の嗜好に合致することを示し、クリニックトランスクリプト嗜好ベンチマーク（CTP）をリリースし、医学に関するASRメトリックをさらに開発できるコミュニティに提供する。

要約(オリジナル)

Automatic Speech Recognition (ASR) in medical contexts has the potential to save time, cut costs, increase report accuracy, and reduce physician burnout. However, the healthcare industry has been slower to adopt this technology, in part due to the importance of avoiding medically-relevant transcription mistakes. In this work, we present the Clinical BERTScore (CBERTScore), an ASR metric that penalizes clinically-relevant mistakes more than others. We demonstrate that this metric more closely aligns with clinician preferences on medical sentences as compared to other metrics (WER, BLUE, METEOR, etc), sometimes by wide margins. We collect a benchmark of 18 clinician preferences on 149 realistic medical sentences called the Clinician Transcript Preference benchmark (CTP), demonstrate that CBERTScore more closely matches what clinicians prefer, and release the benchmark for the community to further develop clinically-aware ASR metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI