Enhancing the Unified Streaming and Non-streaming Model with Contrastive Learning

要約

統合されたストリーミングおよび非ストリーミング音声認識モデルは、その包括的な機能により大きな成功を収めています。
この論文では、対照的な目的でストリーミング モードと非ストリーミング モード間の固有の表現ギャップを埋めることにより、統合モデルの精度を向上させることを提案します。
具体的には、ストリーミング モードと非ストリーミング モードの同じフレームにある最上位層の隠れた表現がポジティブ ペアとみなされ、非ストリーミング モードに近いストリーミング モードの表現が促進されます。
複数のネガティブ サンプルは、非ストリーミング モードで同じサンプルの残りのフレームからランダムに選択されます。
実験結果は、提案された方法がストリーミング モードと非ストリーミング モードの両方で統合モデルに向けて一貫した改善を達成することを示しています。
私たちの手法は、ストリーミング モードで 4.66% の CER、非ストリーミング モードで 4.31% の CER を達成し、AISHELL-1 ベンチマークで新たな最先端を確立しました。

要約(オリジナル)

The unified streaming and non-streaming speech recognition model has achieved great success due to its comprehensive capabilities. In this paper, we propose to improve the accuracy of the unified model by bridging the inherent representation gap between the streaming and non-streaming modes with a contrastive objective. Specifically, the top-layer hidden representation at the same frame of the streaming and non-streaming modes are regarded as a positive pair, encouraging the representation of the streaming mode close to its non-streaming counterpart. The multiple negative samples are randomly selected from the rest frames of the same sample under the non-streaming mode. Experimental results demonstrate that the proposed method achieves consistent improvements toward the unified model in both streaming and non-streaming modes. Our method achieves CER of 4.66% in the streaming mode and CER of 4.31% in the non-streaming mode, which sets a new state-of-the-art on the AISHELL-1 benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google