Advocating Character Error Rate for Multilingual ASR Evaluation

要約

自動音声認識 (ASR) システムは従来、英語のデータセットを使用して評価され、単語誤り率 (WER) が主要な指標として機能していました。
WER のシンプルさと解釈の容易さは、特に英語での WER の広範な採用に貢献しています。
ただし、ASR システムが多言語コンテキストに拡張されると、特に形態的に複雑な言語や明確な単語境界がない言語では、WER がさまざまな点で失敗します。
私たちの研究では、評価指標としての WER の限界を文書化し、多言語 ASR 評価における主要な指標として文字誤り率 (CER) を提唱しています。
CER は WER が直面する多くの課題を回避し、書記体系間でより優れた一貫性を示すことを示します。
私たちは、独特の形態学的特徴を示すマラヤラム語、英語、アラビア語の 3 つの言語で ASR 転写の人的評価を実施することで、この提案を支持しています。
英語であっても、CER は WER よりも人間の判断とより密接に相関していることを示します。
さらなる研究を促進するために、ASR メトリクスの将来のベンチマークのために人間による評価データセットをリリースします。
私たちの調査結果は、さまざまな言語のさまざまな言語特性を考慮して、多言語 ASR 評価において CER を優先するか、少なくとも補完する必要があることを示唆しています。

要約(オリジナル)

Automatic speech recognition (ASR) systems have traditionally been evaluated using English datasets, with the word error rate (WER) serving as the predominant metric. WER’s simplicity and ease of interpretation have contributed to its widespread adoption, particularly for English. However, as ASR systems expand to multilingual contexts, WER fails in various ways, particularly with morphologically complex languages or those without clear word boundaries. Our work documents the limitations of WER as an evaluation metric and advocates for the character error rate (CER) as the primary metric in multilingual ASR evaluation. We show that CER avoids many of the challenges WER faces and exhibits greater consistency across writing systems. We support our proposition by conducting human evaluations of ASR transcriptions in three languages: Malayalam, English, and Arabic, which exhibit distinct morphological characteristics. We show that CER correlates more closely with human judgments than WER, even for English. To facilitate further research, we release our human evaluation dataset for future benchmarking of ASR metrics. Our findings suggest that CER should be prioritized, or at least supplemented, in multilingual ASR evaluations to account for the varying linguistic characteristics of different languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google