Whispering in Amharic: Fine-tuning Whisper for Low-resource Language

要約

この作業では、転写の精度を向上させるために、低リソース言語であるAmharicの微調整Openaiのささやき自動音声認識（ASR）モデルを探ります。
基本的なささやきモデルは、トレーニングデータの表現が限られているためAmharicと闘っていますが、Mozilla Common Voice、Fleurs、BDU-Speech Datasetなどのデータセットを使用して微調整します。
最高のパフォーマンスモデルであるWhispersmall-Amは、既存のFleursデータと新しい目に見えないAmharicデータセットの組み合わせで微調整されると大幅に改善されます。
新しいデータのみでのトレーニングはパフォーマンスの低下につながりますが、それをFleursデータと組み合わせることでモデルが強化され、AMHARICのより良い専門化が可能になります。
また、AMHARICの正規化により、単語エラー率（WER）およびバイリンガル評価アンダースタディ（BLE）スコアが大幅に向上することも実証しています。
この研究では、低リソース言語でASRを改善するための微調整戦略とデータセット構成の重要性を強調し、将来のAMHARIC音声認識研究の洞察を提供します。

要約(オリジナル)

This work explores fine-tuning OpenAI’s Whisper automatic speech recognition (ASR) model for Amharic, a low-resource language, to improve transcription accuracy. While the foundational Whisper model struggles with Amharic due to limited representation in its training data, we fine-tune it using datasets like Mozilla Common Voice, FLEURS, and the BDU-speech dataset. The best-performing model, Whispersmall-am, significantly improves when finetuned on a mix of existing FLEURS data and new, unseen Amharic datasets. Training solely on new data leads to poor performance, but combining it with FLEURS data reinforces the model, enabling better specialization in Amharic. We also demonstrate that normalizing Amharic homophones significantly enhances Word Error Rate (WER) and Bilingual Evaluation Understudy (BLEU) scores. This study underscores the importance of fine-tuning strategies and dataset composition for improving ASR in low-resource languages, providing insights for future Amharic speech recognition research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google