Dialog act guided contextual adapter for personalized speech recognition

要約

タイトル：パーソナライズド音声認識のためのダイアログアクト誘導コンテキストアダプタ

要約：
– マルチターンダイアログにおけるパーソナライズは、エンドツーエンドの自動音声認識（E2E ASR）モデルの長期的な課題である。
– 最近のコンテキストアダプタに関する研究では、ユーザーカタログを使用して稀な単語認識を扱っているが、ダイアログアクトは複数ターンのダイアログシナリオで利用可能な重要な手がかりの1つであるが、このアダプテーションには含まれていない。
– 本研究では、ダイアログアクトによるコンテキストアダプタネットワークを提案している。
– 具体的には、ダイアログアクトを活用して最も関連性の高いユーザーカタログを選択し、キャリアフレーズとユーザーカタログの間のオーディオと意味の関係に基づいてクエリを作成し、コンテキストのバイアスをより適切に誘導する。
– 産業用ボイスアシスタントのデータセットでは、当社のモデルがベースライン（ダイアログアクトエンコーダーのみのモデル、およびコンテキストアダプテーション）を上回り、マルチターンダイアログシナリオにおいて、No-contextモデルと比較して平均相対ワードエラーレート削減（WERR）58％を達成しています。従来のコンテキストアダプタは、No-contextモデルに対して39％のWERRを実現しています。

要約(オリジナル)

Personalization in multi-turn dialogs has been a long standing challenge for end-to-end automatic speech recognition (E2E ASR) models. Recent work on contextual adapters has tackled rare word recognition using user catalogs. This adaptation, however, does not incorporate an important cue, the dialog act, which is available in a multi-turn dialog scenario. In this work, we propose a dialog act guided contextual adapter network. Specifically, it leverages dialog acts to select the most relevant user catalogs and creates queries based on both — the audio as well as the semantic relationship between the carrier phrase and user catalogs to better guide the contextual biasing. On industrial voice assistant datasets, our model outperforms both the baselines – dialog act encoder-only model, and the contextual adaptation, leading to the most improvement over the no-context model: 58% average relative word error rate reduction (WERR) in the multi-turn dialog scenario, in comparison to the prior-art contextual adapter, which has achieved 39% WERR over the no-context model.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI