Transfer Learning of Transformer-based Speech Recognition Models from Czech to Slovak

要約

このペーパーでは、Transformers アーキテクチャに基づいてスロバキア語音声認識モデルをトレーニングするいくつかの方法を比較しています。
具体的には、既存のチェコ語の事前トレーニング済み Wav2Vec 2.0 モデルからスロバキア語への転移学習のアプローチを検討しています。
私たちは、3 つのスロバキアのデータセットに対して提案されたアプローチの利点を実証しています。
スロバキア モデルは、事前トレーニング フェーズの開始時にチェコ モデルから重みを初期化したときに最良の結果を獲得しました。
私たちの結果は、Cezch の事前トレーニング済みモデルに保存された知識を再利用してスロバキア語のタスクを解決できると同時に、はるかに大規模な公開多言語モデルよりも優れたパフォーマンスを発揮できることを示しています。

要約(オリジナル)

In this paper, we are comparing several methods of training the Slovak speech recognition models based on the Transformers architecture. Specifically, we are exploring the approach of transfer learning from the existing Czech pre-trained Wav2Vec 2.0 model into Slovak. We are demonstrating the benefits of the proposed approach on three Slovak datasets. Our Slovak models scored the best results when initializing the weights from the Czech model at the beginning of the pre-training phase. Our results show that the knowledge stored in the Cezch pre-trained model can be successfully reused to solve tasks in Slovak while outperforming even much larger public multilingual models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google