Modular Hybrid Autoregressive Transducer

要約

トランスデューサには明確に分離された音響モデル (AM)、言語モデル (LM)、またはブランク モデルがないため、トランスデューサ モデルのテキストのみの適応は、エンドツーエンドの音声認識にとって依然として困難です。
この作業では、共有音響エンコーダーとともに、ラベルとブランクの分布をそれぞれ予測するために、ラベルとブランクのデコーダーを構造的に分離したモジュール式ハイブリッド自己回帰トランスデューサー (MHAT) を提案します。
エンコーダーとラベル デコーダーの出力は、AM スコアと内部 LM スコアに直接投影され、ラベルの事後分布を計算するために追加されます。
内部 LM 損失と HAT 損失を使用して MHAT をトレーニングし、内部 LM がテキストに効果的に適応できるスタンドアロンのニューラル LM になるようにします。
さらに、MHAT のテキスト適応は、内部 LM 減算ベースの方法よりもはるかに優れた LM 融合を促進します。
Google の大規模な生産データでは、100B センテンスを適用したマルチドメイン MHAT は、40 万時間のトレーニング済み HAT から、LM 融合なしで最大 12.4%、LM 融合ありで 21.5% の相対的な WER 削減を達成しています。

要約(オリジナル)

Text-only adaptation of a transducer model remains challenging for end-to-end speech recognition since the transducer has no clearly separated acoustic model (AM), language model (LM) or blank model. In this work, we propose a modular hybrid autoregressive transducer (MHAT) that has structurally separated label and blank decoders to predict label and blank distributions, respectively, along with a shared acoustic encoder. The encoder and label decoder outputs are directly projected to AM and internal LM scores and then added to compute label posteriors. We train MHAT with an internal LM loss and a HAT loss to ensure that its internal LM becomes a standalone neural LM that can be effectively adapted to text. Moreover, text adaptation of MHAT fosters a much better LM fusion than internal LM subtraction-based methods. On Google’s large-scale production data, a multi-domain MHAT adapted with 100B sentences achieves relative WER reductions of up to 12.4% without LM fusion and 21.5% with LM fusion from 400K-hour trained HAT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google