Beyond Universal Transformer: block reusing with adaptor in Transformer for automatic speech recognit

要約

Transformer ベースのモデルは、最近、エンドツーエンド (E2E) 自動音声認識 (ASR) のアプリケーションで大きな成果を上げています。
Transformer ベースのモデルを使用して、E2E ASR システムをスマート デバイスに展開することができます。
これらのモデルには、多数のモデル パラメーターが必要であるという欠点がまだあります。
エッジ デバイスに ASR を適用するためのユニバーサル Transformer モデルの欠点を克服するために、認識を損なうことなくリソースの制限に対応するという目的を満たす、小さなフットプリントの ASR システムの機会に Transformer モデルのブロックを再利用できるソリューションを提案します。
正確さ。
具体的には、スピーチトランスフォーマー（BRST）の新しいブロック再利用戦略を設計して、パラメーターの有効性を高め、各再利用ブロックに付随するトレーニング可能なパラメーターをいくつか追加するだけで、コンパクトで適応可能なモデルを生成できるアダプターモジュール（ADM）を提案します。
公開されている AISHELL-1 コーパスで提案手法を使用した実験を行った結果、提案手法は、7.6M/8.3M パラメータのみで、文字誤り率 (CER) 9.3%/6.63% を達成することが示されました。
ADM、それぞれ。
さらに、一般的なブロック再利用法における ADM の効果を示すために、より深い分析も行います。

要約(オリジナル)

Transformer-based models have recently made significant achievements in the application of end-to-end (E2E) automatic speech recognition (ASR). It is possible to deploy the E2E ASR system on smart devices with the help of Transformer-based models. While these models still have the disadvantage of requiring a large number of model parameters. To overcome the drawback of universal Transformer models for the application of ASR on edge devices, we propose a solution that can reuse the block in Transformer models for the occasion of the small footprint ASR system, which meets the objective of accommodating resource limitations without compromising recognition accuracy. Specifically, we design a novel block-reusing strategy for speech Transformer (BRST) to enhance the effectiveness of parameters and propose an adapter module (ADM) that can produce a compact and adaptable model with only a few additional trainable parameters accompanying each reusing block. We conducted an experiment with the proposed method on the public AISHELL-1 corpus, and the results show that the proposed approach achieves the character error rate (CER) of 9.3%/6.63% with only 7.6M/8.3M parameters without and with the ADM, respectively. In addition, we also make a deeper analysis to show the effect of ADM in the general block-reusing method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google