Multiple Representation Transfer from Large Language Models to End-to-End ASR Systems

要約

大規模言語モデル (LLM) の知識の転送は、言語知識をエンドツーエンドの自動音声認識 (ASR) システムに組み込むための有望な手法です。
ただし、既存の作品は LLM の単一表現 (たとえば、事前学習済み BERT の最後の層) を転送するだけですが、テキストの表現は本質的に一意ではなく、さまざまなレイヤー、コンテキスト、モデルからさまざまに取得できます。
この研究では、LLM の複数の表現を取得してトランスデューサベースの ASR システムに転送するための幅広い技術を検討します。
概念的には単純ですが、LLM の複数の表現を転送することが、単一の表現のみを転送する効果的な代替手段となり得ることを示します。

要約(オリジナル)

Transferring the knowledge of large language models (LLMs) is a promising technique to incorporate linguistic knowledge into end-to-end automatic speech recognition (ASR) systems. However, existing works only transfer a single representation of LLM (e.g. the last layer of pretrained BERT), while the representation of a text is inherently non-unique and can be obtained variously from different layers, contexts and models. In this work, we explore a wide range of techniques to obtain and transfer multiple representations of LLMs into a transducer-based ASR system. While being conceptually simple, we show that transferring multiple representations of LLMs can be an effective alternative to transferring only a single representation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google