PromptASR for contextualized ASR with controllable style

要約

プロンプトは、トピックや論理的関係などのコンテキスト情報を提供するため、大規模な言語モデルにとって非常に重要です。
これに触発されて、私たちは PromptASR を提案します。これは、エンドツーエンドの自動音声認識 (E2E ASR) システムにプロンプ​​トを統合し、制御可能な書き起こしスタイルでコンテキスト化された ASR を実現するフレームワークです。
具体的には、専用のテキスト エンコーダがテキスト プロンプトをエンコードし、そのエンコードは 2 つのモダリティの特徴を相互参加させることによって音声エンコーダに挿入されます。
先行する発話からのグラウンド トゥルース テキストをコンテンツ プロンプトとして使用する場合、提案されたシステムは、ベースライン ASR システムと比較して、本の読書データセットと社内データセットで 21.9% と 6.8% の相対的な単語誤り率の削減を達成します。
システムは、まれな単語の認識精度を向上させるために、単語レベルのバイアス リストをプロンプトとして受け取ることもできます。
追加のスタイル プロンプトをテキスト エンコーダーに与え、ASR システムがさまざまなスタイルの文字起こしを出力するようにガイドできます。
コードは Icefall で入手できます。

要約(オリジナル)

Prompts are crucial to large language models as they provide context information such as topic or logical relationships. Inspired by this, we propose PromptASR, a framework that integrates prompts in end-to-end automatic speech recognition (E2E ASR) systems to achieve contextualized ASR with controllable style of transcriptions. Specifically, a dedicated text encoder encodes the text prompts and the encodings are injected into the speech encoder by cross-attending the features from two modalities. When using the ground truth text from preceding utterances as content prompt, the proposed system achieves 21.9% and 6.8% relative word error rate reductions on a book reading dataset and an in-house dataset compared to a baseline ASR system. The system can also take word-level biasing lists as prompt to improve recognition accuracy on rare words. An additional style prompt can be given to the text encoder and guide the ASR system to output different styles of transcriptions. The code is available at icefall.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google