PIER: A Novel Metric for Evaluating What Matters in Code-Switching

要約

コードスイッチング、つまり 1 つの談話内で言語を切り替えることは、自動音声認識にとって大きな課題となります。
タスクの独特な性質にもかかわらず、パフォーマンスは通常、Word-Error-Rate (WER) などの確立された指標で測定されます。
ただし、このホワイト ペーパーでは、これらの一般的な指標がコード スイッチングのパフォーマンスを正確に評価しているかどうかについて疑問を抱いています。
具体的には、Connectionist-Temporal-Classification モデルと Encoder-Decoder モデルの両方を使用して、行列と埋め込み言語の両方からのコード交換されていないデータを微調整すると、実際のコード交換された単語は悪化するものの、コード交換テスト セットの古典的なメトリクスが改善されることを示します。
（予想通り）。
したがって、関心のある特定の単語のみに焦点を当てた WER の変形である、Point-of-Interest Error Rate (PIER) を提案します。
コードスイッチングされた発話で PIER をインスタンス化し、これがコードスイッチングのパフォーマンスをより正確に記述していることを示し、将来の研究で改善の余地が大きいことを示しています。
この焦点を絞った評価により、特にワード間およびワード内のコードスイッチングなどの困難な側面において、モデルのパフォーマンスをより正確に評価できます。

要約(オリジナル)

Code-switching, the alternation of languages within a single discourse, presents a significant challenge for Automatic Speech Recognition. Despite the unique nature of the task, performance is commonly measured with established metrics such as Word-Error-Rate (WER). However, in this paper, we question whether these general metrics accurately assess performance on code-switching. Specifically, using both Connectionist-Temporal-Classification and Encoder-Decoder models, we show fine-tuning on non-code-switched data from both matrix and embedded language improves classical metrics on code-switching test sets, although actual code-switched words worsen (as expected). Therefore, we propose Point-of-Interest Error Rate (PIER), a variant of WER that focuses only on specific words of interest. We instantiate PIER on code-switched utterances and show that this more accurately describes the code-switching performance, showing huge room for improvement in future work. This focused evaluation allows for a more precise assessment of model performance, particularly in challenging aspects such as inter-word and intra-word code-switching.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google