LAHAJA: A Robust Multi-accent Benchmark for Evaluating Hindi ASR Systems

要約

インドで最も話されている言語の 1 つであるヒンディー語は、さまざまな言語起源を持つ人々が使用するため、多様なアクセントを示します。
複数のアクセントに関するヒンディー語 ASR システムの堅牢な評価を可能にするために、ベンチマーク LAHAJA を作成しました。これには、132 人の話者から供給された合計 12.5 時間のヒンディー語音声を含む、さまざまなトピックやユースケースに関する読み上げおよび即興スピーチが含まれています。
インドの83地区にまたがる。
LAHAJA で既存のオープンソース モデルと商用モデルを評価したところ、パフォーマンスが低いことがわかりました。
次に、さまざまなデータセットを使用してモデルをトレーニングしたところ、話者の多様性が良好な多言語データでトレーニングされたモデルが既存のモデルを大幅に上回るパフォーマンスを示したことがわかりました。
また、特に固有表現や専門用語が多いコンテンツでは、北東および南インドの話者のパフォーマンスが低下することを示す詳細な分析も示します。

要約(オリジナル)

Hindi, one of the most spoken language of India, exhibits a diverse array of accents due to its usage among individuals from diverse linguistic origins. To enable a robust evaluation of Hindi ASR systems on multiple accents, we create a benchmark, LAHAJA, which contains read and extempore speech on a diverse set of topics and use cases, with a total of 12.5 hours of Hindi audio, sourced from 132 speakers spanning 83 districts of India. We evaluate existing open-source and commercial models on LAHAJA and find their performance to be poor. We then train models using different datasets and find that our model trained on multilingual data with good speaker diversity outperforms existing models by a significant margin. We also present a fine-grained analysis which shows that the performance declines for speakers from North-East and South India, especially with content heavy in named entities and specialized terminology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google