End-to-end Joint Rich and Normalized ASR with a limited amount of rich training data

要約

句読点や大文字を含む場合と含まない場合の両方の文字起こしを生成する、統合リッチで正規化された自動音声認識 (ASR) は依然として課題です。
エンドツーエンド (E2E) ASR モデルは、利便性と、音声の共同転写を実行する機能の両方を提供します。
このようなモデルをトレーニングするには、音声データとリッチ テキスト データのペアが必要ですが、これはあまり普及していません。
このペーパーでは、限られた量のリッチなラベル付きデータを使用して、ストリーミング アプリケーションに対応できるステートレス トランスデューサー ベースの E2E ジョイントのリッチで正規化された ASR システムをトレーニングするための 2 つの異なるアプローチを比較します。
最初のアプローチでは、言語モデルを使用して、正規化されたトレーニング データの擬似リッチな転写を生成します。
2 番目のアプローチでは、出力のタイプに応じて単一のデコーダを使用します。
最初のアプローチは、ドメイン外データでのパフォーマンスが向上し、エラーが相対的に最大 9% 削減される E2E リッチ ASR につながります。
2 番目のアプローチは、エラーが中程度 (絶対 2.42%) 増加する、わずか 5% の豊富なトレーニング データを使用した、E2E ジョイントのリッチで正規化された ASR システムの実現可能性を示します。

要約(オリジナル)

Joint rich and normalized automatic speech recognition (ASR), that produces transcriptions both with and without punctuation and capitalization, remains a challenge. End-to-end (E2E) ASR models offer both convenience and the ability to perform such joint transcription of speech. Training such models requires paired speech and rich text data, which is not widely available. In this paper, we compare two different approaches to train a stateless Transducer-based E2E joint rich and normalized ASR system, ready for streaming applications, with a limited amount of rich labeled data. The first approach uses a language model to generate pseudo-rich transcriptions of normalized training data. The second approach uses a single decoder conditioned on the type of the output. The first approach leads to E2E rich ASR which perform better on out-of-domain data, with up to 9% relative reduction in errors. The second approach demonstrates the feasibility of an E2E joint rich and normalized ASR system using as low as 5% rich training data with moderate (2.42% absolute) increase in errors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google