要約
近年、エンドツーエンドの音声認識は、従来の自動音声認識モデルの音響、発音辞書、および言語モデルのコンポーネントを統合するテクノロジーとして登場しました。
事前に発音辞書を構築することなく、人間に近い認識を実現することが可能です。
ただし、コード スイッチングに関するトレーニング データが相対的に不足しているため、この現象が発生すると ASR モデルのパフォーマンスが大幅に低下する傾向があります。
過去の研究のほとんどは、コード切り替えタスクを 1 つの言語を扱う複数のタスクに分割し、各言語のドメイン固有の知識を個別に学習することで、モデルの学習の複雑さを簡素化してきました。
したがって、この論文では、ASR モデルのエンコーダの中間層に言語識別情報を導入することを試みます。
私たちは、より暗黙的な方法で言語の区別を暗示する音響特徴を生成し、言語切り替えを扱う際のモデルの混乱を軽減することを目指しています。
要約(オリジナル)
In recent years, end-to-end speech recognition has emerged as a technology that integrates the acoustic, pronunciation dictionary, and language model components of the traditional Automatic Speech Recognition model. It is possible to achieve human-like recognition without the need to build a pronunciation dictionary in advance. However, due to the relative scarcity of training data on code-switching, the performance of ASR models tends to degrade drastically when encountering this phenomenon. Most past studies have simplified the learning complexity of the model by splitting the code-switching task into multiple tasks dealing with a single language and then learning the domain-specific knowledge of each language separately. Therefore, in this paper, we attempt to introduce language identification information into the middle layer of the ASR model’s encoder. We aim to generate acoustic features that imply language distinctions in a more implicit way, reducing the model’s confusion when dealing with language switching.
arxiv情報
| 著者 | Tzu-Ting Yang,Hsin-Wei Wang,Berlin Chen |
| 発行日 | 2023-12-15 07:46:35+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google