Unsupervised Language agnostic WER Standardization

要約

単語誤り率 (WER) は、自動音声認識 (ASR) システムを評価するための標準的な指標です。
ただし、WER は、凝集から生じるスペルのバリエーション、略語、または複合語が存在する場合、人間が知覚する品質の公正な評価を提供できません。
ロケール/地理、代替の略語、借用語、および外国語からターゲット言語のスクリプトへのコード混合単語の音訳に基づいて、複数のスペルのバリエーションが許容される場合があります。
同様に、凝集の場合、多くの場合、凝集および分割形態が許容されます。
以前の研究では、WER を計算する前に、手動で識別された正規化ペアを使用して転写と仮説の両方に適用することで、この問題を処理していました。
この論文では、スペル正規化とセグメンテーション正規化の 2 つのモジュールからなる自動 WER 正規化システムを提案します。
提案されたシステムは教師なしで言語にとらわれないため、スケーラブルです。
4 つの言語にわたる 35,000 の発話に対する ASR の実験では、平均で 13.28% の WER 削減が得られました。
これらの自動的に識別された正規化ペアの人間の判断は、WER 正規化された評価が ASR 出力の知覚品質と非常に一致していることを示しています。

要約(オリジナル)

Word error rate (WER) is a standard metric for the evaluation of Automated Speech Recognition (ASR) systems. However, WER fails to provide a fair evaluation of human perceived quality in presence of spelling variations, abbreviations, or compound words arising out of agglutination. Multiple spelling variations might be acceptable based on locale/geography, alternative abbreviations, borrowed words, and transliteration of code-mixed words from a foreign language to the target language script. Similarly, in case of agglutination, often times the agglutinated, as well as the split forms, are acceptable. Previous work handled this problem by using manually identified normalization pairs and applying them to both the transcription and the hypothesis before computing WER. In this paper, we propose an automatic WER normalization system consisting of two modules: spelling normalization and segmentation normalization. The proposed system is unsupervised and language agnostic, and therefore scalable. Experiments with ASR on 35K utterances across four languages yielded an average WER reduction of 13.28%. Human judgements of these automatically identified normalization pairs show that our WER-normalized evaluation is highly consistent with the perceived quality of ASR output.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google