Clinical BERTScore: An Improved Measure of Automatic Speech Recognition Performance in Clinical Settings

要約

タイトル：臨床設定における自動音声認識パフォーマンスの改善に向けたClinical BERTScore

要約：医療現場における自動音声認識（ASR）は、時間の節約、コスト削減、報告書の正確性の向上、医師の燃え尽きを減らす可能性があります。しかし、医療業界は、医学的に重要な筆記の誤りを避けることが重要であるため、この技術の採用に遅れがちです。本研究では、臨床的に関連する誤りのペナルティを他のものよりも高く設定するASR評価指標であるClinical BERTScore（CBERTScore）を紹介します。医学的な文に関して、この評価指標が他の指標（WER、BLUE、METEORなど）と比べて、臨床家の好みにより近い傾向があることを示します。我々は、Clinician Transcript Preferenceベンチマーク（CTP）と呼ばれる、現実的な149の医学的な文章を18の臨床家の好みで収集し、この公開データセットを医学的に関連するASR評価指標をさらに開発するためのコミュニティに提供します。我々は、CBERTScoreが臨床家の好みにより近く、医学的文書においてASRパフォーマンスを評価する上で、有用な指標であることを示します。

要約(オリジナル)

Automatic Speech Recognition (ASR) in medical contexts has the potential to save time, cut costs, increase report accuracy, and reduce physician burnout. However, the healthcare industry has been slower to adopt this technology, in part due to the importance of avoiding medically-relevant transcription mistakes. In this work, we present the Clinical BERTScore (CBERTScore), an ASR metric that penalizes clinically-relevant mistakes more than others. We demonstrate that this metric more closely aligns with clinician preferences on medical sentences as compared to other metrics (WER, BLUE, METEOR, etc), sometimes by wide margins. We collect a benchmark of 18 clinician preferences on 149 realistic medical sentences called the Clinician Transcript Preference benchmark (CTP) and make it publicly available for the community to further develop clinically-aware ASR metrics. To our knowledge, this is the first public dataset of its kind. We demonstrate that CBERTScore more closely matches what clinicians prefer.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI