Dialect Adaptation and Data Augmentation for Low-Resource ASR: TalTech Systems for the MADASR 2023 Challenge

要約

この文書では、ASRU MADASR 2023 チャレンジのために開発されたタリン工科大学 (TalTech) のシステムについて説明します。
この課題は、限られたトレーニング音声データとテキスト データを使用した、方言が豊富なインド言語の自動音声認識に焦点を当てています。
TalTech は、こ​​のチャレンジの 2 つのトラックに参加しました。提供されたトレーニング データのみの使用を許可するトラック 1 と、追加の音声データの使用を許可するトラック 3 です。
どちらのトラックでも、wav2vec2.0 モデルに依存しました。
私たちの方法論は、2 つの重要な点で、事前トレーニングされた wav2vec2.0 モデルを微調整する従来の手順とは異なります。1 つは、トレーニング データの言語多様性を強化するための調整されたデータ拡張技術の実装によるもので、2 つ目は、ディープ プレフィックス チューニングの適用によるものです。
wav2vec2.0 モデルの方言適応用。
どちらのトラックでも、私たちのアプローチは提供されたベースラインを大幅に改善し、参加チーム全体で最低の単語エラー率を達成しました。

要約(オリジナル)

This paper describes Tallinn University of Technology (TalTech) systems developed for the ASRU MADASR 2023 Challenge. The challenge focuses on automatic speech recognition of dialect-rich Indian languages with limited training audio and text data. TalTech participated in two tracks of the challenge: Track 1 that allowed using only the provided training data and Track 3 which allowed using additional audio data. In both tracks, we relied on wav2vec2.0 models. Our methodology diverges from the traditional procedure of finetuning pretrained wav2vec2.0 models in two key points: firstly, through the implementation of the aligned data augmentation technique to enhance the linguistic diversity of the training data, and secondly, via the application of deep prefix tuning for dialect adaptation of wav2vec2.0 models. In both tracks, our approach yielded significant improvements over the provided baselines, achieving the lowest word error rates across all participating teams.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google