Dynamic ASR Pathways: An Adaptive Masking Approach Towards Efficient Pruning of A Multilingual ASR Model

要約

ニューラル ネットワーク プルーニングは、パフォーマンスの損失を最小限に抑えて多言語自動音声認識 (ASR) モデルを圧縮するための効果的な方法を提供します。
ただし、言語ごとに数回のプルーニングと再トレーニングを実行する必要があります。
この研究では、多言語 ASR モデルを効率的に枝刈りするための 2 つのシナリオで適応マスキング アプローチを使用することを提案します。それぞれのシナリオでは、疎な単言語モデルまたは疎な多言語モデル (動的 ASR パスウェイと呼ばれます) が生成されます。
私たちのアプローチはサブネットワークを動的に適応させ、固定されたサブネットワーク構造に関する早計な決定を回避します。
疎な単一言語モデルを対象とする場合、私たちのアプローチが既存の枝刈り手法よりも優れていることを示します。
さらに、動的 ASR パスウェイは、さまざまなサブネットワークの初期化から適応することで、単一の多言語モデルのより優れたサブネットワーク (パスウェイ) を共同で発見してトレーニングし、それによって言語固有の枝刈りの必要性が軽減されることを示します。

要約(オリジナル)

Neural network pruning offers an effective method for compressing a multilingual automatic speech recognition (ASR) model with minimal performance loss. However, it entails several rounds of pruning and re-training needed to be run for each language. In this work, we propose the use of an adaptive masking approach in two scenarios for pruning a multilingual ASR model efficiently, each resulting in sparse monolingual models or a sparse multilingual model (named as Dynamic ASR Pathways). Our approach dynamically adapts the sub-network, avoiding premature decisions about a fixed sub-network structure. We show that our approach outperforms existing pruning methods when targeting sparse monolingual models. Further, we illustrate that Dynamic ASR Pathways jointly discovers and trains better sub-networks (pathways) of a single multilingual model by adapting from different sub-network initializations, thereby reducing the need for language-specific pruning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google