Lego-Features: Exporting modular encoder features for streaming and deliberation ASR

要約

タイトル： Lego-Features：ストリーミングおよび審議 ASR 用のモジュラーエンコーダー特徴のエクスポート

要約：

– E2E音声認識モデルでは、エンコーダーとデコーダーの間に密接な結合が不可避であるため、モジュラーエンコードされた表現を持つエンコーダーを構築することが試みられている。これにより、異なるモデルのエンコーダーとデコーダーをゼロショットでつなぎ合わせることができる。
– 以前の研究はフルコンテキストの音声モデルについてのみ扱ってきたが、このフレームワークはストリーミング設定でも使える。これは、既存のエンコードされた表現を基に、改めて事前学習されたモデルを変更することなく、Lego-Featuresと呼ばれるモジュラーな特徴に変換することによって行われる。
– このLego-Featuresは、異なる初期化で再学習された場合でも相互に交換可能である。RNN-TまたはLASデコーダーでテストされた結果、スパースながら強力であり、下流のパフォーマンスを高水準に維持する。
– また、一次通過の予測を表現するのに十分な豊かさを持ち、二次通過の審議中にも使用できることが示されている。この場合、音響特徴を補完する必要がないため、N-Bestの仮説を上回る性能を示す。
– 最後に、Lego-Featuresの生成にはビームサーチや自己回帰計算が必要ではないため、標準的なエンコーダー出力に代わる、モジュラーで強力なかつコストが少ない代替手段を提供する。

要約(オリジナル)

In end-to-end (E2E) speech recognition models, a representational tight-coupling inevitably emerges between the encoder and the decoder. We build upon recent work that has begun to explore building encoders with modular encoded representations, such that encoders and decoders from different models can be stitched together in a zero-shot manner without further fine-tuning. While previous research only addresses full-context speech models, we explore the problem in a streaming setting as well. Our framework builds on top of existing encoded representations, converting them to modular features, dubbed as Lego-Features, without modifying the pre-trained model. The features remain interchangeable when the model is retrained with distinct initializations. Though sparse, we show that the Lego-Features are powerful when tested with RNN-T or LAS decoders, maintaining high-quality downstream performance. They are also rich enough to represent the first-pass prediction during two-pass deliberation. In this scenario, they outperform the N-best hypotheses, since they do not need to be supplemented with acoustic features to deliver the best results. Moreover, generating the Lego-Features does not require beam search or auto-regressive computation. Overall, they present a modular, powerful and cheap alternative to the standard encoder output, as well as the N-best hypotheses.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI