Vistaar: Diverse Benchmarks and Training Sets for Indian Language ASR

要約

新しい LLM ベースのユースケースを世界中の人々が利用できるようにするには、ASR システムを改善することが必要です。
このペーパーでは、インドの言語に焦点を当て、インドの言語の ASR システムを評価および改善するには多様なベンチマークが必要であることを主張します。
これに対処するために、Vistaar をさまざまな言語とドメインの組み合わせにわたる 59 のベンチマークのセットとして照合し、それに基づいて 3 つの公的に入手可能な ASR システムと 2 つの商用システムを評価します。
また、インドの 12 言語にわたる合計 10.7,000 時間に及ぶ、公開されているトレーニング データセットに基づいて Whisper モデルを微調整することで、IndicWhisper モデルをトレーニングします。
IndicWhisper が、Vistaar ベンチマークで考慮された ASR システムを大幅に改善することを示します。
実際、IndicWhisper は 59 ベンチマークのうち 39 ベンチマークで最も WER が低く、平均 4.1 WER 削減されています。
すべてのデータセット、コード、モデルをオープンソースにします。

要約(オリジナル)

Improving ASR systems is necessary to make new LLM-based use-cases accessible to people across the globe. In this paper, we focus on Indian languages, and make the case that diverse benchmarks are required to evaluate and improve ASR systems for Indian languages. To address this, we collate Vistaar as a set of 59 benchmarks across various language and domain combinations, on which we evaluate 3 publicly available ASR systems and 2 commercial systems. We also train IndicWhisper models by fine-tuning the Whisper models on publicly available training datasets across 12 Indian languages totalling to 10.7K hours. We show that IndicWhisper significantly improves on considered ASR systems on the Vistaar benchmark. Indeed, IndicWhisper has the lowest WER in 39 out of the 59 benchmarks, with an average reduction of 4.1 WER. We open-source all datasets, code and models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google